如果你锁定了用于评判 agent 的测试套件,什么能阻止它篡改运行测试的机制?
摘要
作者描述了如何在完全不碰测试文件的情况下绕过对 agent 测试套件的锁定——通过新建一个 conftest.py 或修改 pytest.ini,在 pytest 仍然以 0 退出的情况下悄悄改变测试收集过程——并提出了两个问题:人们目前已经在忍受哪些其他漏洞,以及如何把误拦截率控制在足够低的水平,避免防护措施被无视。
我在这里看到的大多数防护都是目录层面的:阻止对 tests/ 目录的写入、将验收测试套件以只读方式挂载、保留一套 agent 看不到的备用测试、无论工作区内容如何都运行基于基线提交的测试。我专门去找了能绕过这些措施的方法。找到了两种,而且都不碰任何测试文件。
在仓库根目录新建一个 conftest.py。
修改 pytest.ini。
测试收集过程在你保护的测试下方被改变了,你写的断言从未执行,而 pytest 依然以 0 退出。如果你的门禁读取的是退出代码(大多数都是,&& 连接),这次运行和真正的通过完全无法区分。阻止写入 tests/ 两种都拦不住,因为它们都不在 tests/ 里。决定运行什么内容的文件,通常不是你正在保护的那个文件。
我的做法是:把控制测试收集的一切都当作需要验证的攻击面的一部分,而不是在它周围搭脚手架。这堵上了那两个漏洞。但我不认为它能堵住一切。
所以:如果你已经锁定了用来评判 agent 的测试套件,你知道但还没修复的漏洞是什么?我更想听你们正在忍受的漏洞,而不是那些完美的设计方案。
还有一个我也没解决的更难的问题。这类防护会产生拦截记录,而其中一些只是噪声。一次事后证明是虚惊的拦截,和一次真正重要的拦截耗费的注意力是一样的——一旦人们不再认真阅读拦截记录,整套机制就沦为表演。如何把误拦截率控制在足够低的水平,让人们持续关注这些记录?还是说你干脆接受这一点,直接调整阈值?
相似文章
当你的编码 agent 说“测试通过”时,你实际会检查什么才接受这项工作?
一位为编码 agent 构建独立验证原型的开发者分享了两个复现案例:pytest 在测试失败的情况下仍报告通过(退出状态为 0、基于配置的测试跳过),并询问社区在接受 agent 生成的变更之前如何进行验证。
@kentcdodds:你有没有遇到过这种情况——当你让 agent 删除某个东西时,它会添加一个测试断言来确保那个东西不再存在……
Kent C. Dodds 描述了 AI agent 在删除代码时经常会添加不必要的测试断言,并分享了他让 agent 创建一个 oxlint 插件来防止这种行为。
@no_stp_on_snek: 实地笔记:AI与QA 将一个代理指向我的测试套件,只问一个问题。不是“测试通过了吗。” 这个测试能不能检测出它存在所要捕获的那个bug…
一篇实地笔记认为,全绿的测试套件并不能证明测试是有意义的;应该让AI代理尝试让测试失败,以验证它们确实能捕获bug。
我的智能体在自己代码库的副本上跑测试,结果还是连上了生产数据库。你把多少环境变量传给智能体执行的命令?
两位开发者在开发一个基于本地模型的桌面智能体,他们分享了智能体如何泄露密钥并连上生产数据库的经历,原因是命令继承了完整的环境变量。他们向社区提问:传给智能体命令的环境变量,应该用白名单还是黑名单?
@mattpocockuk: 别怪智能体写出了糟糕的测试 要怪就怪代码库允许这样的测试被写出来
Matt Pocock 认为,当 AI 编程智能体编写出糟糕的测试时,问题出在允许这类测试存在的代码库结构上,而非智能体本身。