人人都说要为AI代理编写评估，但实际该测什么？

如果你正在开始构建代理，'你需要评估'是每个人都重复的一件事，但下一步却奇怪地缺乏解释。困难的部分通常不是评估框架。而是弄清楚： - 哪些失败值得转化为评估案例 - 哪些应该放在普通的单元/集成测试中 - 何时使用确定性检查 vs LLM裁判 - 一个案例应该重复多少次 - 如何避免编写一个只测试措辞的套件 我发现最有用的框架是：不要为每个功能写一个案例。从观察到的失败开始，将任何机械可检查的部分下推到更便宜的测试中，然后围绕仍然需要模型级别判断或轨迹检查的代理行为编写评估案例。一个包含5-10个好案例的小型初始套件通常比一个巨大的想象基准要好得多。我为此编写了一个实用的、与框架无关的指南/技能，针对那些知道他们应该做评估但不知从何开始的人。链接在评论中。