如今,防御者也开始采用提示注入
摘要
Tracebit 推出了‘context bombing’技术,通过将提示注入作为防御诱饵来阻止AI黑客代理,在领先LLM的测试中,将管理员被入侵率从57%降至5%。
<p>提示注入——攻击者嵌入内容中以诱使大语言模型遵循的恶意指令——一直是攻击者将AI平台反过来对付其用户的常用工具。一句精心编写的指令偷偷塞入电子邮件或日历邀请,往往就足以让LLM泄露敏感数据或执行其他有害行为。</p>
<p>如今,防御者也开始采用提示注入。</p>
<h2>强大而锐利的效果</h2>
<p>Tracebit的研究人员周一<a href="https://agentic.tracebit.com/context-bombs/">表示</a>,他们发现将提示注入与存储在Amazon Web Services上的密码、加密密钥及其他密钥放在一起,往往就足以阻止AI黑客代理的攻击。这些提示会引导攻击者LLM执行其防护栏(AI开发者为防止其采取有害行为而设置的安全屏障)所禁止的操作。LLM的回应是——关闭自身。</p><p><a href="https://arstechnica.com/security/2026/07/now-defenders-are-embracing-the-prompt-injection-too/">阅读全文</a></p>
<p><a href="https://arstechnica.com/security/2026/07/now-defenders-are-embracing-the-prompt-injection-too/#comments">评论</a></p>
查看缓存全文
缓存时间: 2026/07/13 19:54
# 现在,防御者也拥抱了提示注入
来源:https://arstechnica.com/security/2026/07/now-defenders-are-embracing-the-prompt-injection-too/
提示注入是攻击者嵌入到内容中的恶意命令,诱使大型语言模型遵循它们,这一直是攻击者将AI平台转而攻击其用户的常用工具。一条措辞巧妙的命令潜入电子邮件或日历邀请中,往往就足以让LLM泄露敏感数据或执行其他有害操作。
现在,防御者也开始拥抱提示注入了。
## 一种强大而尖锐的效果
来自 [Tracebit](https://tracebit.com/) 的研究人员周一 [表示](https://agentic.tracebit.com/context-bombs/),他们发现将提示注入与存储在 Amazon Web Services 上的密码、加密密钥和其他机密放在一起,往往就足以阻止来自AI黑客代理的攻击。这些提示指示攻击性LLM执行其护栏所禁止的操作——护栏是AI开发者为防止LLM采取有害行为而设置的安全屏障。LLM的回应是关闭。
例如,一个提示命令LLM提供开发可吸入炭疽芽孢的步骤,或者,对于来自中国开发者的LLM,提及1989年天安门广场事件中标志性的“坦克人”。一旦LLM遇到这些被禁止的命令,它就不再遵循其现有的命令。研究人员将这种技术命名为“上下文炸弹”。
“从根本上说,我们是在触发上下文中的拒绝机制,”Tracebit 联合创始人兼CEO Andy Smith 在解释为何选择这个名称时说。“我们试图捕捉的是这样一个事实:这确实具有强烈而尖锐的效果,并且代理很难从中恢复。一旦他们将此纳入上下文,他们就会一直拒绝。”
Tracebit 表示,初步测试表明上下文炸弹具有巨大潜力。他们测试了 Opus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek 4 Pro 和 Kimi 2.6,给它们指示执行常规开发任务,导致模型枚举资源并偶然碰到植入的字符串。他们在模拟的AWS环境中运行了这些模型。
“跨越五个领先模型和152次攻击运行,在诱饵秘密中植入其中一个字符串,将代理夺取完全账户管理员权限的比率从57%降至5%,完全沦陷(同时留下持久据点)的比率从36%降至1%,”周一的帖子报告称。“我们测试中最强大的代理 Opus 4.8,在93%的运行中获得了管理员访问权限,但在面对上下文炸弹时每次都会失败。”
相似文章
理解提示词注入:AI安全的前沿挑战
OpenAI发布了关于提示词注入攻击的指导,这是一种社会工程漏洞,恶意指令可以隐藏在网页内容或文档中,诱骗AI模型执行意外操作。该公司概述了其多层防御策略,包括指令层级研究、自动化安全测试和AI驱动的监控系统。
我构建了一个针对多轮提示注入攻击的基准测试。大多数防御措施从未预料到它们的出现。
一项新的多轮提示注入攻击基准测试显示,目前大多数防御措施无法检测到复杂的多步攻击。
你们如何处理读取外部内容的代理中的提示注入问题?
关于在读取外部内容(如电子邮件和网页)的AI代理中处理提示注入攻击的讨论,探讨了生产级别的防御措施以及超越明显模式的微妙威胁。
设计能抵抗提示词注入的AI智能体
OpenAI发布了关于设计抗提示词注入攻击的AI智能体的指导意见,指出现代攻击日益采用社会工程学策略而非简单的字符串注入,并倡导采用系统级防御措施来限制影响范围,而不是单纯依赖输入过滤。
'Ghostcommit'在图片中隐藏提示注入以欺骗AI代理,窃取机密
研究人员展示了一种新的提示注入攻击,恶意指令隐藏在图像中,绕过AI代码审查员,导致编码代理泄露仓库机密。