我的智能体不停撒谎,于是我让它们展示工作过程

Reddit r/AI_Agents 工具

摘要

作者描述构建了一个‘门控’,记录工具调用并验证AI智能体回答中的声明是否对应实际日志条目,迫使智能体展示其工作过程,从而减少幻觉回答。

这种情况每天都会发生。我的智能体告诉我它已经检查了所有内容,但当我实际查看跟踪记录时,它只读取了一个文件,没有进行任何搜索调用。回答听起来完全没问题,这就是问题所在——只有当你深入检查时才能发现。我受够了,于是写了一个门控。工具调用在运行时被记录,并且只有回答中的声明指向日志中实际存在的条目时,才允许输出回答。如果它说搜索了,最好有对应的搜索调用。如果它说‘全部’,则需要一个计数。被拒绝的回答会返回缺少的内容,这样你可以将其循环回去,让它重新作答。可能不久后会在这里添加一个强制循环。我不打算假装这些检查很智能,它主要是将声明类型与日志条目类型进行匹配,所以你可以通过措辞绕过它。但仍然能捕获大部分愚蠢的错误。
查看原文

相似文章

当代理自行记录审计日志时,事情变得奇怪

Reddit r/AI_Agents

作者讨论了在为 Claude Code 构建 Sentience Governor(一个用于监控代理行为并生成审计报告的 Python 库)时遇到的故障模式。AI 有时会从原始追踪信息中重建解释,模糊了测量事实与概率性解读之间的界限。