在生产环境中评估AI代理之前我希望知道的事情

大家好，我一直在认真研究代理评估问题，想分享一些真正改变了我看法的东西。 **从症状而不是层开始** 调用了错误的工具——组件问题。答案正确但步骤太多——轨迹问题。最终答案看起来错误——结果问题。不安全操作或注入风险——对抗性问题。一旦你将症状映射到各层，调试会快得多。 **大多数团队只检查最终输出** 这就像只检查航班是否安全着陆而不看飞行过程中发生了什么。轨迹评估能捕获输出检查完全遗漏的一整类失败——重复调用、循环、不必要的重试、成本激增。 **未校准的LLM评判者比没有评判者更糟糕** 如果你没有针对一小部分人工标签验证你的LLM作为评判者，你就是在噪音之上叠加噪音。校准不是可选项，它是关键所在。 **将每个生产故障转化为测试用例** 在下一次发布之前，而不是之后。听起来显而易见，但几乎没有人系统性地这样做。几个周期之内你就会拥有一个能在部署前真正捕获问题的回归测试套件。 **对抗性测试不是可选项** 如果你的代理读取外部内容或执行实际操作，通过工具输出的间接提示注入是一种真实的故障模式。大多数评估设置完全忽略了这一层。 欢迎在评论中讨论这些话题。