模型能给出正确答案，但代理仍然无法完成任务
摘要
文章讨论了在外部系统上的AI代理评估中，模型决策质量与执行完整性之间的差距，提出了对决策正确性和任务成功完成分别计分的方式。
很多代理评估似乎只对最终答案进行评分。这对于聊天来说是有意义的，但一旦代理被期望在外部系统上执行操作，就感觉不完整了。考虑一个付费API工作流。模型可能做出正确的决策，但仍然失败，因为：授权在执行前过期，支付完成但请求超时，服务接受请求但响应丢失，重试导致重复收费，最终结果之后无法检索。我开始思考两个独立的计分板：决策质量：答案或选择是否正确？执行完整性：预期的外部操作是否恰好执行一次并随后得到验证？对于执行，我追踪一个小的状态机：提议→授权→执行→确认→验证。代理不应仅仅因为它到达了第一个或第三个状态就声称完成。在实践中，人们如何对此进行基准测试？如果代理到达了正确答案但外部操作失败，您会将其视为失败、部分成功，还是一个完全独立的指标？
相似文章
智能体给出的正确答案不代表它做对了事
本文探讨了仅根据最终答案来评估AI智能体的陷阱，强调了检查中间步骤、工具调用和推理过程以发现看似自信但实际错误的输出的重要性。文章建议使用自动评分和轨迹回放来测量并改进智能体的行为。
你的AI智能体在基准测试中表现优异，但在生产环境中为何仍然失败？
文章讨论了AI智能体的基准现实差距，即高基准分数并不保证在真实生产环境中的可靠性能，强调了需要更好的评估指标。
你的代理失败不是因为模型，而是因为没人构建一个停止按钮
文章认为，AI代理在生产中的主要失败点并非模型本身，而是缺乏基础设施，如停止按钮、账单监控以及工具调用的可追溯性。
为什么你的智能体“成功”了，三天后却发现其实没有
探讨AI智能体在任务中看似成功，但后来暴露失败的现象，突出了智能体评估与监控中的挑战。
AI智能体的执行质量在多大程度上实际上是一个数据问题？
作者反思了为什么在演示中表现良好的AI智能体在实际工作流中经常失败，认为执行质量可能更多地与数据问题（任务示例、工具轨迹、评估集）相关，而不仅仅是推理或规划，并指出他们正在通过OpenDCAI/DataFlow项目探索这个问题。