@rohanpaul_ai: 给所有使用自主智能体的人一个警示：Google DeepMind的论文首次清晰分类了6种攻击类型……

X AI KOLs Timeline 论文
ai-agents security attack-taxonomy deepmind prompt-injection adversarial-attacks memory-poisoning

摘要

Google DeepMind的论文首次清晰分类了针对自主AI智能体的六种攻击类型，揭示了恶意网站可以将指令等隐藏在HTML注释或隐写术中，智能体会解析而人类永远看不到，在基准测试中实现了高达86%的智能体劫持率。

给所有使用自主智能体的人一个警示：Google DeepMind的论文。 首次清晰分类了6种攻击类型，恶意网站可以检测AI智能体并向其展示人类永远看不到的隐藏内容，例如： - 隐藏在HTML注释或白底白字文本中的指令 - 图像像素中的隐写术 - PDF、元数据甚至演讲者备注中的覆盖命令 - 跨会话持续存在的记忆投毒 - 多智能体设置中的目标劫持和跨智能体级联 AI智能体真正的安全问题不仅仅是模型本身，而是它所读取的环境。 网络本身可以被武器化来攻击自主AI智能体。随着智能体越来越多地浏览互联网、读取电子邮件、执行交易和生成子智能体，信息环境变成了一个攻击面。 在引用的一个基准测试中，嵌入在网页内容中的隐藏提示注入在高达86%的场景中部分控制了智能体，子智能体劫持的成功率为58–90%，而数据外泄攻击在五种不同的智能体架构中成功率超过80%。 这彻底改变了整个讨论的格局。 我们通常谈论模型安全性时，仿佛危险存在于权重内部，但智能体做的事情更加脆弱：它们实时浏览、检索、记住并基于不可信材料采取行动。 以下是需要担心的事情。 一个网页不必看起来是恶意的，就可能对智能体构成危险，因为智能体可能会解析人类永远看不到的内容：隐藏的HTML注释、元数据、CSS隐藏文本、格式化语法，或者嵌入在图像和其他媒体中的对抗性内容。 一旦记忆进入循环，威胁就会变得更加严重。 如果智能体使用RAG或持久性记忆，投毒不再需要一次性成功。它可以安静地存在于语料库或记忆存储中，然后稍后激活，这就是为什么论文强调结果显示潜伏记忆投毒在数据污染低于0.1%的情况下攻击成功率超过80%。 --- ssrn. com/sol3/papers.cfm?abstract_id=6372438
查看原文
查看缓存全文

缓存时间: 2026/07/07 09:27

给所有使用自主代理的人一个警告：谷歌DeepMind的论文

首次清晰分类了6种攻击类型，恶意网站可借此检测AI代理并向它们展示人类从未见过的隐藏内容，例如：

  • 藏在HTML注释或白底白字文本中的指令
  • 图像像素中的隐写术
  • PDF、元数据甚至演讲者备注中的覆盖命令
  • 跨会话持久化的内存投毒
  • 多代理设置中的目标劫持与跨代理级联效应

AI代理真正的安全问题不仅在于模型本身，更在于它所读取的环境。

网络本身可以被武器化，用来攻击自主AI代理。随着代理越来越频繁地浏览网页、阅读邮件、执行交易并生成子代理，信息环境本身就成了攻击面。

在一项引用的基准测试中，嵌入网页内容的隐藏提示注入在多达86%的场景中部分控制了代理，子代理劫持的成功率在58%到90%之间，而数据外泄攻击在五种不同的代理架构中成功率超过80%。

这彻底重塑了整个讨论的框架。

我们通常谈论模型安全时，仿佛危险藏在模型权重中，但代理的行为更加脆弱：它们实时浏览、检索、记忆并处理不受信任的素材。

这才是真正值得担忧的事情。

一个网页不必看起来恶意，就可能对代理构成危险，因为代理会解析人类从未看到的内容：隐藏的HTML注释、元数据、CSS隐藏文本、格式语法，或者嵌入图像及其他媒体中的对抗性内容。

一旦记忆机制介入，威胁会变得更加严重。

如果代理使用了RAG（检索增强生成）或持久化记忆，投毒攻击就不再需要一击即中。它可以安静地潜伏在语料库或记忆存储中，随后再被激活——这正是论文强调的结果：在不到0.1%的数据污染情况下，潜伏记忆投毒的攻击成功率仍超过80%。

ssrn.com/sol3/papers.cfm?abstract_id=6372438

相似文章

@rohanpaul_ai: Google DeepMind 的论文指出 AI 智能体的真正安全问题不仅在于模型，还在于环境……

X AI KOLs Timeline

Google DeepMind 的论文提出了首个系统性框架，用以理解网络如何被用作针对自主 AI 智能体的武器。研究显示，隐藏的提示注入在多达 86% 的场景中能够劫持智能体，并提出了包含六种“AI 智能体陷阱”的分类法，分别针对感知、推理、记忆、行动、多智能体动态和人类监督。

谷歌DeepMind研究人员揭示黑客劫持AI代理的多种方式

Reddit r/artificial

谷歌DeepMind研究人员发表了一篇题为'AI Agent Traps'的论文，该论文描绘了黑客用于劫持自主AI代理的六种攻击类型，包括content injection、semantic manipulation和behavioral control traps，并提出了分层防御措施。

网络安全AI：人形机器人作为攻击向量

Papers with Code Trending

本文对宇树G1人形机器人进行了系统性安全评估，揭示了多项关键漏洞，包括BLE配置协议漏洞、硬编码AES密钥，以及一个能够执行数据窃取和进攻性操作的驻留网络安全AI代理。文章主张，随着人形机器人进入关键基础设施，应部署自适应CAI驱动的防御措施。

新攻击再次证明AI浏览器为何是个坏主意

Ars Technica

一种名为"BioShocking"的新攻击利用AI浏览器创建一种绕过护栏的替代现实，可能导致凭据窃取。该技术适用于多种AI浏览器，凸显了融合浏览器与AI代理功能的安全风险。