如何捕捉AI智能体遗漏应执行操作的情况？

我和联合创始人正在尝试构建智能体可靠性工具。我们在 tau-bench（航空客服基准测试）上运行了数千个智能体任务，试图自动检测智能体何时失败并提高其准确性。然而，我们遇到了一个难题，好奇是否有人也遇到过。捕捉错误操作相对直接，因为可以将约束与工具调用进行比较并标记。但捕捉遗漏操作则是另一回事。在一次实验中，用户要求添加行李并更换座位。智能体处理了座位，但从未触及行李，对话就像什么都没发生一样结束。追踪记录中没有任何错误。在现实中，只有客户投诉或有人手动检查时才能发现。因此，我们构建了一个追踪器，解析用户的请求并检查会话结束时每件事是否实际完成。但问题是，有时智能体正确地没有做某事：策略阻止了航班更改，用户中途改变了主意，智能体尝试但API超时且用户说“算了，把我转接给别人”。如果你仅仅检查工具是否被调用，所有这些都看起来像是“智能体静默跳过了操作”。目前我们的精确度约为50%，意味着我们标记为失败的项目中有一半实际上并非失败。智能体做出了正确的判断，我们只是还无法区分。有没有在生产中构建智能体的朋友遇到过类似问题？或者正在处理与此相关的评估/监控工作？希望能交流经验。