智能体给出的正确答案不代表它做对了事

有一段时间，我只用最终答案来评价我的智能体。答案读起来没问题，我就以为背后的步骤也没问题——这是个错误。后来我开始观察实际运行过程：计划、它调用了哪个工具、返回了什么、每一步之前它“决定”了什么。情况完全变了。许多看起来正确的答案其实是碰巧正确。智能体调用了工具，没得到任何有用的返回，却依然能基于这个缺口写出镇定而自信的答案。没有报错，也没有看起来异常的地方——只是这一次碰巧接近了正确答案。有三点让我印象深刻： **1. 最终答案掩盖了整个运行过程。** 一个干净的输出可能建立在一个破碎的路径之上——用错了工具、检索结果为空、跳过了步骤。如果你只读最后一条消息，你只是在评价封面，而不是书本身。 **2. “自信地错误”是最致命的失败。** 智能体在编造内容时很少抛出错误。它会平静地说出错误的东西，而你直到用户发现时才知道。 **3. 无法测量就无法修复。** 一旦我有了一组固定的真实输入，可以在每次修改后重新运行，我终于知道一个调整到底是真有帮助，还是只是把问题推到了另一个步骤上。让这一切行之有效的关键是借助一个工具，它能对每个输出进行评分（比如事实准确性、有无依据），并保留每次运行的完整轨迹，这样我就不用读原始日志去猜测发生了什么。 所以，对任何构建智能体的人来说，一个真正的问题是：你如何捕捉那些错误但看起来正确的答案？你是手动回放轨迹、为每一步编写检查、自动对输出评分，还是等用户来标记？感觉每个人都有自己的一套办法，但目前没有公认的正确做法。