你的AI代理绿色测试套件实际证明了什么

我在人们开始部署AI代理时经常遇到一个问题：他们按照测试普通代码的方式编写测试套件——一组带有预期输出的输入，测试通过后，就认为代理已经覆盖全面了。但事实并非如此，而且差距不小。问题出在两个方面。普通代码的输入空间基本上是可以穷举的，分支有限，你能覆盖到。而AI代理的输入是开放文本，所以你的五十个用例只是无限空间中的五十个点，而问题通常出现在你从未编写过用例的地方。此外，相同的输入并不保证相同的运行结果，因此今天通过的测试只是一个概率性陈述，而非确定性保证。所以，代理的绿色套件只意味着它在那些特定字符串和那次运行中有效。这比普通代码库中绿色测试的含义弱得多，但人们却将其等同看待。对我而言，更诚实的做法是测试输入分布的属性，检查那些应该始终成立的条件，比如它永远不会连续两次调用同一个工具，或者永远不会执行允许列表之外的动作，而不是断言某个确切的输出。对于那些正在部署AI代理的人，你们是在测试固定用例，还是更接近基于属性的检查？