如果你锁定了用于评判 agent 的测试套件,什么能阻止它篡改运行测试的机制?

Reddit r/AI_Agents 新闻

摘要

作者描述了如何在完全不碰测试文件的情况下绕过对 agent 测试套件的锁定——通过新建一个 conftest.py 或修改 pytest.ini,在 pytest 仍然以 0 退出的情况下悄悄改变测试收集过程——并提出了两个问题:人们目前已经在忍受哪些其他漏洞,以及如何把误拦截率控制在足够低的水平,避免防护措施被无视。

我在这里看到的大多数防护都是目录层面的:阻止对 tests/ 目录的写入、将验收测试套件以只读方式挂载、保留一套 agent 看不到的备用测试、无论工作区内容如何都运行基于基线提交的测试。我专门去找了能绕过这些措施的方法。找到了两种,而且都不碰任何测试文件。 在仓库根目录新建一个 conftest.py。 修改 pytest.ini。 测试收集过程在你保护的测试下方被改变了,你写的断言从未执行,而 pytest 依然以 0 退出。如果你的门禁读取的是退出代码(大多数都是,&& 连接),这次运行和真正的通过完全无法区分。阻止写入 tests/ 两种都拦不住,因为它们都不在 tests/ 里。决定运行什么内容的文件,通常不是你正在保护的那个文件。 我的做法是:把控制测试收集的一切都当作需要验证的攻击面的一部分,而不是在它周围搭脚手架。这堵上了那两个漏洞。但我不认为它能堵住一切。 所以:如果你已经锁定了用来评判 agent 的测试套件,你知道但还没修复的漏洞是什么?我更想听你们正在忍受的漏洞,而不是那些完美的设计方案。 还有一个我也没解决的更难的问题。这类防护会产生拦截记录,而其中一些只是噪声。一次事后证明是虚惊的拦截,和一次真正重要的拦截耗费的注意力是一样的——一旦人们不再认真阅读拦截记录,整套机制就沦为表演。如何把误拦截率控制在足够低的水平,让人们持续关注这些记录?还是说你干脆接受这一点,直接调整阈值?
查看原文

相似文章