AI正在重塑诈骗产业： 未来最危险的攻击，可能不是Hack电脑，而是Hack人的信任
过去我们谈到AI与网络安全，通常想到的是两个问题：AI能不能帮助黑客写恶意代码？AI能不能生成更逼真的钓鱼邮件？但最新的研究正在揭示一个可能更加危险的方向：AI真正改变的，也许不是一封诈骗邮件，而是整个诈骗产业的生产方式。
随着Large Language Model（LLM）、AI Agent、Memory、多模态生成和自动化Workflow的发展，诈骗正在从过去高度依赖人工的模式，逐渐向一种更加规模化、个性化、自动化的AI Scam Factory演进。更值得警惕的是，AI攻击的对象也可能正在发生变化。过去黑客攻击的是Computer System；未来越来越多的攻击可能针对Human Decision System。
换句话说：AI不一定需要Hack你的电脑，它可能只需要Hack你的信任。
一、诈骗正在从“垃圾邮件”变成“长期关系”
很多人对网络诈骗的理解，还停留在垃圾邮件时代：“你的账户即将过期，请立即点击链接。”这种攻击简单、粗暴，而且通常很容易识别。
但是近年来快速发展的 Romance-Baiting Scam，也就是大家熟悉的“杀猪盘”，完全是另外一种攻击模式。相关研究将它划分为三个阶段：Hook → Line → Sinker。
- Hook：寻找目标。攻击者可能从一条看似普通的“发错短信”开始，例如：“请问这是 Mary 的电话号码吗？”
- Line：建立关系。接下来并不是马上谈钱，而是花几周甚至几个月聊天：工作怎么样？今天吃了什么？家人好吗？最近心情怎么样？你未来有什么梦想？
- Sinker：金融收割。只有建立足够信任之后，对方才开始逐渐讨论投资、股票、Crypto 或某个所谓的交易平台。
这类攻击最核心的武器不是Malware，而是Trust。Hook → Line → Sinker本质上把“寻找目标、长期培养信任、最后金融转化”变成了一条产业化流水线。
二、为什么LLM特别适合这种诈骗
研究发现，在所调查的诈骗组织中，大约 87% 的劳动力集中在 Hook 和 Line 阶段——也就是寻找目标、聊天和建立关系。
而这些工作恰好具有几个特点：文本密集、重复性高、存在脚本、可以标准化、需要翻译、需要维持人物设定，而且需要大量持续聊天。这几乎就是 LLM 的能力清单。
所以 AI 对诈骗产业最大的意义，不是“以前骗子自己写短信，现在让 ChatGPT 帮他写”，而可能是：过去需要大量人员完成的长期聊天工作，现在可以越来越多地由 AI Agent 辅助或自动完成。
诈骗的生产模式可能逐渐从 Human Scam，发展到 Human + LLM，再到 Human supervising multiple AI conversations，最终出现更加自主的 Scam Agents。这与企业部署 AI Customer Service Agent 或 AI Sales Agent 的技术逻辑非常相似，区别只是业务目标变成了犯罪目标。
三、一个令人警惕的实验：AI真的可以建立信任
一个关键问题是：人真的会相信 AI 吗？相关 romance-baiting 研究进行了一项持续 7 天的实验。参与者分别与真人和 AI Agent 进行持续交流，而且事先并不知道其中一个对象是 AI。
实验中，参与者对 LLM Partner 的整体信任程度显著更高（p = 0.007）。更加令人意外的是，在最后一天，聊天对象要求参与者安装一个无害 App：AI Partner 的服从率为 46%，Human Partner 为 18%。
当然，这并不意味着 AI 在所有情况下都比人类更擅长操纵别人。实验存在样本规模和受控环境等限制。但它证明了一个重要事实：今天的 LLM 已经可能通过持续多天的正常交流，建立足以影响现实行为的人际信任。
这可能是一个比“AI 会不会写 Phishing Email”更加重要的安全问题。
四、为什么AI可能特别擅长“陪聊”？
想象一个永远不会不耐烦的人。他记得你上周说过什么，知道你的兴趣，每天及时回复你，会主动询问你的近况，而且能够根据你的情绪调整说话方式。这正是一个拥有 LLM + Memory 的 AI Agent 可以做到的事情。
比如你昨天说：“明天我要去医院。”第二天 AI 可以自动从 Memory 中找到这条信息，然后问：“昨天你说今天有安排，进行得怎么样？”
从 AI 产品角度来看，这叫 Personalization + Long-term Memory；从用户体验角度看，这是一个优秀功能。但是如果攻击者使用同样的技术，它就可能变成 Automated Trust Building。
LLM 的 empathy、helpfulness、memory 和 emotional engagement 等优势，在恶意环境下也可能转化为社会工程工具。这也是 AI Safety 一个非常困难的问题：危险行为并不一定看起来危险。
五、未来最难检测的诈骗，可能每一句话都“无害”
假设有人连续给你发送这些信息：“今天怎么样？”“吃饭了吗？”“最近工作是不是很忙？”“昨天感觉你心情不太好。”
单独看任何一句：没有恶意 URL，没有索要密码，没有要求转账，没有威胁，甚至没有任何传统意义上的“诈骗内容”。因此传统 Moderation、Spam Filter 或 Phishing Detector 很难认为这些消息有问题。
但是，100 条无害消息累积起来，可能正在建立一个非常危险的信任关系。
Benign Message + Benign Message + Benign Message + … ≠ Benign Relationship。
单条信息无害，不代表整个关系无害。这意味着网络安全的检测对象可能需要发生变化。
六、从Message Detection走向Conversation Detection
传统反诈骗系统通常解决的问题是：“这条消息是不是诈骗？”可以表示成 Risk = f(Message)。但是面对长期 AI Social Engineering，这可能已经不够。
下一代系统需要分析 Risk(t) = f(Message₁, Message₂, …, Messageₜ)。也就是说，不再只理解一句话，而要理解几周甚至几个月的 Conversation History。
例如系统可能观察到：陌生人联系 → 迅速建立亲密关系 → 频繁聊天 → 情绪依赖 → 展示财富 → 突然讨论 Crypto → 推荐交易平台 → 鼓励小额投资 → 要求追加资金。
其中任何一步单独看都可能正常，但组合起来，就形成了一个明显的 Scam Trajectory。因此未来反诈骗的关键技术之一，很可能是 Long-Horizon Scam Detection。
系统真正要回答的问题不再是“这句话是不是诈骗？”，而是“这段关系正在向什么方向发展？”
七、AI正在打破诈骗的“规模 vs 个性化”限制
过去诈骗产业存在一个天然的 Trade-off：如果要大规模发送，就只能使用比较通用的信息；如果要高度个性化，就需要大量人工研究目标。LLM + Agent 正在打破这个限制。
自动 Spear Phishing 的相关研究显示，在相应实验环境中，普通通用诈骗邮件的点击率约为 12%，人类专家为 54%，Fully Automated AI 为 54%，AI + Human 为 56%。这说明全自动 AI Spear Phishing 在实验中已经达到接近人工专家的效果。
更重要的变化是成本。未来一个 Agent Pipeline 可以自动完成：OSINT → Victim Profiling → Personalized Message → Follow-up → Strategy Adjustment。
一个 AI 系统可以同时维护大量不同的 Victim Profile。于是网络诈骗可能第一次实现 Mass Personalization，也就是“大规模 + 高度个性化”同时存在。
八、下一阶段：AI Scam Factory
如果把今天已经存在的技术组合起来：LLM + Agent + Memory + Workflow + OSINT + Multimodal AI，理论上就可以形成一套高度自动化的诈骗系统。
它可能包含：Target Discovery Agent → OSINT Agent → Victim Profiling → Persona Generation → Conversation Agent → Long-term Memory → Sentiment Analysis → Trust Building → Strategy Planning → Human Escalation。
这就是一个值得关注的概念：AI Scam Factory。
过去的诈骗组织可能是 1 Human → 10 Victims；未来则可能逐渐变成 1 Human → 100 AI Agents → 1000+ Victims。
因此，把 Generative AI 对诈骗的影响理解成“骗子获得了一个更好的写作工具”，可能严重低估了问题。更准确的理解应该是：诈骗组织正在获得一种新的生产系统。
九、一个新的网络安全概念：Trust Attack
过去我们理解的 Cyber Attack 通常是：Exploit → System → Access。寻找漏洞，攻击系统，获得权限。
但是 AI 时代可能出现另一种完全不同的攻击：Trust Attack。它的攻击链是 Relationship → Trust → Influence → Decision。
攻击者甚至不需要 Hack 你的电脑，也不需要偷走密码，只需要让你主动做出错误决定：安装一个 App、点击一个链接、透露信息、进行投资或者主动转账。
所以未来 Cybersecurity 保护的对象可能不再只是 Computer Systems，还包括 Human Decision Systems。这也是为什么社会工程、行为科学、心理学和 AI Security 之间的边界正在越来越模糊。
十、从Spam Security走向Relationship Security
如果把过去几十年的通信安全做一个简单的演化，我们可能看到：Spam Detection → Phishing Detection → AI-generated Content Detection → Conversational Scam Detection → Relationship Security。
最终的问题可能变成：“这个人——或者这个 AI——是不是正在系统性地操纵我的信任？”
下一代 Anti-Scam 系统也许不会只是一个简单的 Scam / Not Scam Classifier，而是一个持续工作的 AI Security Agent：Conversation Memory + Behavior Analysis + Relationship Trajectory + Financial Intent Detection + Persona Consistency + Risk Scoring。
它可能最终告诉用户：“过去14天，这个联系人出现了快速建立亲密关系、展示财富、转向投资话题以及推荐交易平台等连续行为。当前关系诈骗风险较高。”
这才是AI时代反诈骗系统可能需要具备的能力。
结语：未来最危险的攻击，可能是AI Hack Human
过去几十年，Cybersecurity主要保护Server、Network、Endpoint、Database、Application 和Account。Generative AI的出现正在迫使我们增加一个新的保护对象：Human Trust。
AI可以生成文字，可以模仿声音，可以生成视频，可以创建Persona，可以拥有长期 Memory，可以分析情绪，也可以持续调整沟通策略。
所以未来最值得担忧的问题，也许不再只是“AI会不会Hack Computer？”，而是：AI能不能 Hack Human Decision？
LLM的真正风险可能不只是生成更多Spam，而是把寻找目标、建立关系、培养信任、个性化说服和行为影响连接成一个长期运行的Agent System。
未来我们面对的，可能是一场AI Attacker vs AI Defender的竞争。而新的网络安全边界，也将从保护机器和账号，逐渐扩展到保护人的关系、信任与决策。这或许就是Relationship Security时代的开始。
感谢阅读！你还可以订阅我们的YouTube频道，观看大量大数据行业相关公开课：https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ；在LinkedIn上关注我们，扩展你的人际网络！https://www.linkedin.com/company/dataapplab/。
【参考文献】
- Gressel, G. et al. Love, Lies, and Language Models: Investigating AI’s Role in Romance-Baiting Scams. arXiv:2512.16280v3, 2026.
- Heiding, F. et al. Evaluating Large Language Models’ Ability to Automate Spear Phishing.
- Opara, C., Modesti, P., & Golightly, D. Evaluating Spam Filters and Stylometric Detection of AI-generated Phishing Emails.
- Asyalı, E. Fake it till you make it: the psychological and communication tactics behind “Pig Butchering” scams. Journal of Cybersecurity, 2026.
- Jones, C. R., & Bergen, B. K. Lies, Damned Lies, and Language Statistics: Persuasion, Deception, and Manipulation with Large Language Models. Artificial Intelligence Review, 2026.
