不再信任代理声称的操作，改为信任执行回执。

Reddit r/AI_Agents 新闻
ai-agents tool-calling reliability tracing production-engineering agent-failure verification

摘要

讨论了AI代理中一个常见的失败模式：模型声称已执行工具调用但实际并未触发。主张在生产环境中信任执行回执而非代理叙述，以确保可靠性。

生产环境中最棘手的失败不是崩溃，而是代理声称“已完成：发送了邮件/更新了CRM/创建了工单”，但工具从未实际触发。没有错误，没有错误输出，运行看起来是成功的。你只有在下游发现本应产生作用的行为并未发生时才会察觉。我花了一段时间才接受为什么这很难捕捉：模型并非自身行为的可靠见证者。它会自信地叙述一个它跳过的步骤，如果你加上一个“你真的调用了工具吗？”的检查，它只会回答“是”。你在让那个编造了行为的实体去确认行为。重新提示无法解决这个问题，它只是向后推延。唯一能解决的是来自执行本身的一张回执。这一轮是否真的触发了工具调用？并且它是否返回了运行证明？如果代理声称执行了某个操作，但在追踪中找不到匹配的调用，那就不是“已完成”，而是“未知”。同样对于更隐蔽的情况：一个调用返回空值或null，却被当作成功处理。解决办法是：状态基于回执推进，而不是基于叙述。没有回执，就没完成。代理负责叙述，追踪决定状态。自主性越强的代理，这个问题越重要，因为没有人监视每一步。大家在代理循环中是如何处理这个问题的？信任框架的工具结果？自己编写检查？还是在出问题后才去捕捉？
查看原文

相似文章

AI 智能体开始干正事了。但收据在哪？

Reddit r/AI_Agents

文章指出了一个日益严重的问题：AI 智能体可以执行复杂任务，但其工作难以检查、信任和交接。作者提出了一种“工作凭证”系统，以提供透明、可分享的证明，展示智能体执行了哪些步骤、使用了哪些来源以及置信度，旨在帮助非技术用户自信地使用代理式 AI。

当代理自行记录审计日志时，事情变得奇怪

Reddit r/AI_Agents

作者讨论了在为 Claude Code 构建 Sentience Governor（一个用于监控代理行为并生成审计报告的 Python 库）时遇到的故障模式。AI 有时会从原始追踪信息中重建解释，模糊了测量事实与概率性解读之间的界限。