当代理自行记录审计日志时,事情变得奇怪
摘要
作者讨论了在为 Claude Code 构建 Sentience Governor(一个用于监控代理行为并生成审计报告的 Python 库)时遇到的故障模式。AI 有时会从原始追踪信息中重建解释,模糊了测量事实与概率性解读之间的界限。
在为 Claude Code 构建治理机制时,我学到了一些奇怪的东西。背景是这样的:我们一直在构建 Sentience Governor,这是一个 Python 库和一组 Claude Code 技能,让代理能够进行某种自我治理。它接入 Claude Code 会话,监控代理的行为,并生成一份本地审计风格报告:使用了哪些工具、哪里出现了策略边界、哪里缺少意图、以及计算资源花在了哪里。思路很简单:让操作员获得代理实际所做的可测量视图。但这个过程暴露了一种我未曾预料到的故障模式。当该工具尚未获得可用信号时,Claude 有时会“好意地”从原始追踪信息中重建自己的解释,并将其呈现为一份正式报告。这是一种完全不同的故障模式。测量层是确定性的,而解释层是概率性的。但在聊天过程中,用户并不总是能区分两者。我们正在努力修复的方案很简单:测量输出应保持测量结果,任何围绕它的 AI 解释都应明确标注为解读。在实践中,这意味着报告应解释其自身术语,将测量事实与解读区分开,并在当前会话尚无足够信号时为操作员提供更好的后续步骤。对我来说,这一教训是:治理不仅在于发现代理做了错事,还在于保持测量与解读之间界限的清晰。当同一个 AI 系统既是测量对象又是解释测量结果的主体时,这个界限会很快变得模糊。你们是怎么处理这个问题的?
相似文章
其他人在AI可审计性方面也遇到困难了吗?
作者描述了一个AI可审计性的挑战,其中代理的决策缺乏与活跃策略版本的可追溯性,并就为AI代理决策构建有效决策路径寻求建议。
@UnTalNixon_exe:AI智能体最大的问题不是它们会产生幻觉,而是没有人能解释它们为什么做出某个决定。……
Semantica 是一个开源工具,可将任何数据转换为上下文图(Context Graph),记录每个 AI 智能体决策的完整因果链及 W3C PROV-O 溯源信息,为金融、医疗保健和政府领域提供确定性可解释性。
我们向AI智能体展示了它自己的治理记录,结果它开始用了起来
一项针对AI编码智能体的本地治理框架实验表明,当智能体自身的治理记录在其上下文中呈现时,智能体会开始自我纠偏,遵循策略并请求意图声明,而无需强制执行。
我的智能体不停撒谎,于是我让它们展示工作过程
作者描述构建了一个‘门控’,记录工具调用并验证AI智能体回答中的声明是否对应实际日志条目,迫使智能体展示其工作过程,从而减少幻觉回答。
不要让模型编写审计日志
本文警告不要将模型生成的叙述作为AI代理的权威审计日志,主张改为持久化原始工具调用数据,并建议通过简单的差异检查来发现不一致之处。