评估智能体非常困难

我一直在用LLM构建应用，最近把我的一个功能从单次提示/补全设置升级到了一个真正的多步智能体（工具调用、几步推理、决定下一步做什么等）。在演示中效果很好。但在评估方面我现在有点迷茫。对于单次补全，它很简单，发送输入，对输出评分，完成。我有一个不错的小数据集和评分设置，感觉很好。但困扰我的是最终答案看起来完全没问题，所以我旧的“对输出评分”的评估通过了，但当我实际查看中间过程时，却发现一团糟。它调错了工具，偶然恢复了，做了一个恰好这次正确的假设。所以输出是“正确的”，但它到达那里的路径完全错误（或者至少不是预期的路径）。感觉下周同样的查询就会失败，因为那些幸运的步骤之一会转向另一边。所以仅对最终输出评分显然不足以评估智能体。但我不确定如何真正评估轨迹，即整个步骤序列，而不变成大量手动阅读跟踪记录的混乱局面。向在这条路上走得更远的人请教：你们是如何评估轨迹而不仅仅是最终答案的？你们是对单个步骤评分（正确的工具，正确的参数）还是对整个路径评分？如何在每次更改智能体流程时避免成为维护噩梦？感觉现在这应该是一个已解决的问题，但我显然遗漏了什么。