当代理自行记录审计日志时,事情变得奇怪

Reddit r/AI_Agents 工具

摘要

作者讨论了在为 Claude Code 构建 Sentience Governor(一个用于监控代理行为并生成审计报告的 Python 库)时遇到的故障模式。AI 有时会从原始追踪信息中重建解释,模糊了测量事实与概率性解读之间的界限。

在为 Claude Code 构建治理机制时,我学到了一些奇怪的东西。背景是这样的:我们一直在构建 Sentience Governor,这是一个 Python 库和一组 Claude Code 技能,让代理能够进行某种自我治理。它接入 Claude Code 会话,监控代理的行为,并生成一份本地审计风格报告:使用了哪些工具、哪里出现了策略边界、哪里缺少意图、以及计算资源花在了哪里。思路很简单:让操作员获得代理实际所做的可测量视图。但这个过程暴露了一种我未曾预料到的故障模式。当该工具尚未获得可用信号时,Claude 有时会“好意地”从原始追踪信息中重建自己的解释,并将其呈现为一份正式报告。这是一种完全不同的故障模式。测量层是确定性的,而解释层是概率性的。但在聊天过程中,用户并不总是能区分两者。我们正在努力修复的方案很简单:测量输出应保持测量结果,任何围绕它的 AI 解释都应明确标注为解读。在实践中,这意味着报告应解释其自身术语,将测量事实与解读区分开,并在当前会话尚无足够信号时为操作员提供更好的后续步骤。对我来说,这一教训是:治理不仅在于发现代理做了错事,还在于保持测量与解读之间界限的清晰。当同一个 AI 系统既是测量对象又是解释测量结果的主体时,这个界限会很快变得模糊。你们是怎么处理这个问题的?
查看原文

相似文章