@rohanpaul_ai: Google DeepMind 的论文指出 AI 智能体的真正安全问题不仅在于模型，还在于环境……

Google DeepMind 的论文指出，AI 智能体的真正安全问题不仅在于模型本身，还在于它所读取的环境。 该论文提出了首个系统性框架，用以理解网络本身如何被用作针对自主 AI 智能体的武器。随着智能体越来越多地浏览网页、阅读邮件、执行交易以及生成子智能体，信息环境本身也就成了攻击面。 在一项引用的基准测试中，嵌入在网页内容中的隐藏提示注入在多达 86% 的场景中能够部分劫持智能体，子智能体劫持的成功率在 58% 到 90% 之间，而数据窃取攻击在五种不同的智能体架构中成功率均超过 80%。 这彻底重塑了整个讨论。 我们通常谈论模型安全性时，仿佛危险就藏在权重之中，但智能体做的事情更为脆弱：它们实时浏览、检索、记忆并对不可信内容采取行动。 该论文的关键贡献在于提出了一个“AI 智能体陷阱”分类法，涵盖六种攻击类别：针对感知、推理、记忆与学习、行动、多智能体动态，甚至包括人类监督者。 关键点在于： 一个网页不必看起来恶意才能对智能体构成危险，因为智能体可能会解析人类从未看到的内容：隐藏的 HTML 注释、元数据、CSS 隐藏文本、格式语法，或者嵌入在图片和其他媒体中的对抗性内容。 一旦记忆进入循环，威胁就变得更加严重。 如果智能体使用 RAG 或持久化记忆，毒化攻击不再需要一次性成功。它可以安静地潜伏在语料库或记忆存储中，随后再激活——正因如此，论文重点展示了潜伏记忆毒化攻击在数据污染不足 0.1% 的情况下仍能达到 80% 以上的成功率。 这篇论文之所以有用，在于它的克制。 它并不假装每个类别都已同样成熟。内容注入和行为控制已经看起来很具体，而系统性和人在回路陷阱则更多作为新兴的研究前沿而非已解决的经验案例来呈现。 更大的观点不容忽视：一旦允许智能体在推理时摄取开放网络的内容，每一页、每一份文档、每一次记忆写入都成为安全边界的一部分。 --- ssrn .com/sol3/papers.cfm?abstract_id=6372438