来试试攻破我的智能体隔离层。如果你成功了,我会写成文章并署上你的名字。
摘要
作者开源了 WarrantKit——一个面向 AI 智能体的失效即关闭(fail-closed)运行时隔离层(Python,Apache-2.0 协议),并邀请社区对其发布的包进行对抗性攻击测试;此前的一次审查发现了一些真实问题,这些问题已被修复。
我构建了 WarrantKit,这是一个面向 AI 智能体的失效即关闭(fail-closed)运行时隔离层(Python,Apache-2.0 协议,仓库见文末)。我自己编写的对抗测试只能覆盖我想到的攻击方式,这是单人安全研究的根本性弱点。所以:来攻破它吧。此前的一轮对抗性审查已经发现了一些真实问题(伪造的租约、未签名的授权凭证、可篡改的准入记录)。每一个都已修复,并附带回归测试。现在是第二轮。
**这些主张**(均可证伪,并在 CI 中测试;下面发布的软件包构建自 commit `ad09e92`,并已通过已发布包的冒烟测试):
重放或复制的 Warrant 无法调用任何操作。网关会消耗运行时持有的执行权限,因此单独一个序列化的 Warrant 是无效的。
重放的运行时报告、被篡改的事件以及序列号操纵都无法通过验证。校验是封闭的,而不是向前推演的。隔离发生后,所有绑定到旧 epoch 的东西会立即失效。没有凭证 TTL 窗口可以等待熬过。外部证据无法将「已观测(observed)」升级为「已验证(verified)」,也无法引入权限。
**在范围内:** `pip install warrantkit==0.1.2`(目标是已发布的包;main 分支在打包后已经有了新改动,所以请测试这个包,而不是分支),或者检出 `ad09e92` 的仓库。如果你从源码构建,请使用 `--recurse-submodules` 克隆;普通克隆会导致 `AgentContainment/` 目录为空。欢迎提供复现脚本。Linux cgroup-v2 真实终止路径和无需 root 权限的模拟演示都在攻击范围内,只是请说明你攻破的是哪一个。
**不在范围内:** GitHub/PyPI 基础设施、对我进行社会工程学攻击、你所运行主机上的内核零日漏洞。请攻击机制本身,而不是周边管道。
**声明的假设**(请不要在这里浪费时间,我心里有数):拥有 epoch 权限的运行时是可信的,操作系统内核是可信的,证明密钥(attestation key)得到了正确管理。如果你认为这些假设本身就是漏洞,这也是一个有效的发现,只需明确标注出来即可。
**如果你攻破了它:** 开一个 GitHub issue 并附上复现步骤,或者私信我。我会确认问题、修复、添加一个以该攻击方式命名的回归测试、把攻破过程写成文章,并在 README 的安全说明中署上你的名字。即使只是「我读了代码,认为主张 1 是错的,因为 X」也算,只要 X 成立就行。来吧。
相似文章
我把我的AI代理治理平台上线了。来试试攻破它。
作者发布了Bendex Arc,一个面向AI代理的开源治理层,用于强制权限、阻止操控,并包含一个用于测试的实时演示。
我构建了一个兼容OpenAI的AI智能体防火墙。来试试攻破它。
Arc Gate 是一个兼容OpenAI的防火墙,可跨整个AI智能体会话跟踪权限,并在工具调用执行前从允许升级到阻止。它提供了在线演示,并在GitHub上开源。
开源用于AI代理的Shell级别安全层
开源一个Shell级别的控制层,该层阻止危险命令、暴露虚假秘密并强制执行运行时策略,使AI代理在开发环境中更安全、更确定。
构建了一个 LLM 在结构上被禁止生成最终输出的 Agent,寻求反馈以及愿意尝试“攻破”它的人
作者描述了一个基于 LangGraph 构建的 AI Agent,旨在复现生产环境中的 Python 崩溃问题。其独特之处在于架构设计:LLM 负责规划行动,而确定性 Python 函数则生成最终测试代码,以确保可靠性。
我将我的智能体的安全层编译成了33KB的JavaScript文件,以便你们可以自行尝试破解它
作者将AI智能体通信的安全层编译成一个33KB的JavaScript文件,该文件在浏览器中运行,允许用户测试其对各种攻击(如伪造签名)的防御,并确保指令包含在非可执行字段中。