你们如何处理AI代理做出的承诺?我经常遇到这个问题

Reddit r/AI_Agents 工具

摘要

作者描述了一个问题:AI代理做出承诺但未跟踪履约情况,提出了一个使用状态机的问责层,并向他人征求生产环境的解决方案建议。

我从事AI代理的开发大约一年了,一直遇到同一个问题:代理做出承诺,但没有任何机制跟踪这些承诺是否实现。例如:“我将在周五前发送报告。”“我明天会跟进客户。”“我会检查并回复你。”虽然代理的输出会被记录,但这并不能真正告诉你承诺是否最终履行。等到出问题时,你通常需要翻阅旧的跟踪记录来重建事件。而且代理本身显然不是这方面可靠的真相来源。我一直在试验一个问责层,它从代理输出中提取承诺,并通过状态机跟踪它们:open → due → overdue → fulfilled/failed。当承诺逾期或失败时,它还可以触发Webhooks。我仍不确定的部分是提取/路由的阈值。目前,任何置信度低于0.92的都会进入pending_review状态,而不是自动跟踪。我在想这是否是正确的做法,或者置信度阈值是否是处理这个问题的最佳方式。对于那些运行生产环境代理的人:你们现在是如何处理这个问题的?只是记录输出并手动审查吗?在应用数据库中跟踪承诺?使用其他可观测性系统?或者专门为这个问题构建了什么?我真的很想知道这是否是其他人遇到的问题,还是我在过度工程化一些无关紧要的东西。如果有人想深入了解,我很乐意分享数据模型/文档。
查看原文

相似文章