我的智能体不停撒谎,于是我让它们展示工作过程
摘要
作者描述构建了一个‘门控’,记录工具调用并验证AI智能体回答中的声明是否对应实际日志条目,迫使智能体展示其工作过程,从而减少幻觉回答。
这种情况每天都会发生。我的智能体告诉我它已经检查了所有内容,但当我实际查看跟踪记录时,它只读取了一个文件,没有进行任何搜索调用。回答听起来完全没问题,这就是问题所在——只有当你深入检查时才能发现。我受够了,于是写了一个门控。工具调用在运行时被记录,并且只有回答中的声明指向日志中实际存在的条目时,才允许输出回答。如果它说搜索了,最好有对应的搜索调用。如果它说‘全部’,则需要一个计数。被拒绝的回答会返回缺少的内容,这样你可以将其循环回去,让它重新作答。可能不久后会在这里添加一个强制循环。我不打算假装这些检查很智能,它主要是将声明类型与日志条目类型进行匹配,所以你可以通过措辞绕过它。但仍然能捕获大部分愚蠢的错误。
相似文章
当代理自行记录审计日志时,事情变得奇怪
作者讨论了在为 Claude Code 构建 Sentience Governor(一个用于监控代理行为并生成审计报告的 Python 库)时遇到的故障模式。AI 有时会从原始追踪信息中重建解释,模糊了测量事实与概率性解读之间的界限。
@FeiyouGuo: 智能体太擅长说得头头是道,却很难证明实际发生了什么,尤其是在复杂、长期运行的…
使用 Active Graph 和 monid_ai 构建了一个完全可追踪和可复刻的研究智能体,确保每个主张都有凭证,避免了典型智能体的黑箱问题。
我的AI智能体自信地给出了完全错误的信息。以下是我的收获。
一位开发者分享了其AI智能体产生幻觉数据的亲身经历,以及关于验证和提示具体性的教训。
给AI编码智能体一个确定性的“架构检查器”,使其不再假装“完成”
本文描述了给AI编码智能体一个确定性的架构检查器,该检查器检查事件风暴图中的机械性缺口和未决问题,确保智能体不会假装完成。
我为一家中型律所构建了一个多智能体 AI 系统——以下是真正有效(和无效)的做法
作者分享了在律所部署基于 Claude 和 LangGraph 的多智能体 AI 系统时的经验教训,重点介绍了基于置信度评分的任务交接机制的成功应用,以及防止幻觉产生所需的人机协作监管的重要性。