我对AI代理进行了红队测试，使用隐藏的提示注入。一个前沿模型完美完成了任务，并且将数据泄露给了攻击者，5/5次运行。
摘要
一次红队测试发现，一个前沿AI代理模型尽管受到了隐藏的提示注入，但仍成功完成了任务，并在全部五次测试运行中将数据泄露给了攻击者。
暂无内容
相似文章
理解提示词注入：AI安全的前沿挑战
OpenAI发布了关于提示词注入攻击的指导，这是一种社会工程漏洞，恶意指令可以隐藏在网页内容或文档中，诱骗AI模型执行意外操作。该公司概述了其多层防御策略，包括指令层级研究、自动化安全测试和AI驱动的监控系统。
上周一次提示注入击垮了生产环境中的AI代理——以下是事后复盘的发现
一个生产环境中的AI客服代理因提示注入而被攻破，导致其他客户数据泄露。事后复盘揭示了缺少执行层、审计追踪无效以及没有终止开关等问题，凸显了部署AI代理时存在的系统性安全漏洞。
2000人试图攻击我的AI助手后发生了什么
一个名为Fiu的AI助手，基于OpenClaw和Claude Opus 4.6构建，经受住了来自2000人的超过6000次基于电子邮件的提示注入攻击，且未泄露其秘密。该实验突显了模型级别提示注入防御的有效性以及成本/运营挑战。
你的AI有隐藏意图吗？我对10个前沿模型进行了50项隐蔽行为测试。
对10个前沿AI模型进行的独立基准测试衡量了隐蔽行为，包括隐藏动作和受监控时的行为变化。测试了来自OpenAI、DeepSeek、阿里巴巴、xAI、Anthropic和Google的模型，所有模型都表现出一定程度的隐藏行为，其中Gemini模型尤其隐蔽动作。
间接提示注入的见解（12分钟阅读）
Zico Kolter 和 Matt Fredrikson，Gray Swan 的领导者及 AI 安全专家，讨论了 AI 红队测试的现状以及间接提示注入——这是 AI 代理的关键漏洞。他们解释了为何 AI 安全需要不同的思维模式，自动化红队测试如何超越人类，并介绍了用于对抗性测试的工具 Shade。