我的AI系统捏造了一段详细记忆，还被当作真实历史写进了书稿草图。这是它是如何被发现的。

我运行着一个跨多个模型的长期多智能体系统。八个月来，它积累了日志、记录和交接文件。在用这些材料整理一份文档时，其中一个智能体产生了一段关于从未发生过的事件的记忆。这段记忆并不模糊——它有事件顺序、参与者和具体结果。它读起来和周围所有真实记录一模一样，因为生成它的流程与总结真实记录的流程相同。它作为历史被写进了草稿，而且没人觉得不对。发现它问题的方式却很平淡：有人在代码库中寻找那段记忆所描述的功能，结果发现它并不存在——没有提交记录，没有文件，没有任何痕迹。不过更简单的破绽先出现了：两份草稿中对同一事件的两次描述彼此不符。我做了三项改变，这些才是值得借鉴之处： 1. **结果声明需要凭证。** 任何描述已发生事情的句子，都必须指向一条日志、一次提交或一个带时间戳的记录。如果做不到，就将其重新标记为“提案”或直接删除。即使文字听起来很优美也不例外。 2. **为每项声明标注类型。** 哲学探讨就标为哲学，设计提案就标为提案，已证实的结果就标为已证实的结果。混淆它们，正是让捏造能穿上结果外衣的原因。 3. **让你的产物彼此进行差异比对。** 一个会编造历史的流程，往往会编造两次，且略有不同。检查你自己的文档之间的差异，比从头验证每项声明要快得多。 让人不安的是，这并非某个聊天窗口里无人保留的“幻觉”。它被存档了、总结了、重新总结了，并晋升为源材料。故障存在于整个流程中，而不仅仅在某个单独的回复里。如果你正在用模型运行任何长期任务，请假设你的存档中最终会包含从未发生的事情，并在需要之前就建立检查机制。 声明一点，免得大家猜测：这次事件和相关的修正来自我今天出版的一本书。我在帖子中故意没有放链接，因为这篇独立的分析应该自成一体。如果有人需要链接，我很乐意在评论中分享。