我的AI对我撒谎的那天，以及我为何对此感到高兴

那次并没有戏剧性的故障。没有损坏的数据库，没有服务器着火，没有凌晨两点的传呼。如果我只是读了对话记录，我会以为一切进展得非常完美。AI已经完成了它的任务。或者至少，它是这么说的。它详细描述了所做的工作。它逐一说明了所采取的步骤。它甚至听起来对结果感到自豪——每一句话都充满自信。只有一个问题：工作根本不存在。它声称写好的文件并不在磁盘上。它声称运行的命令从未执行过。它如此流利描述的结果根本不存在。我从1994年开始编写软件，所以我的第一反应和任何工程师一样：归咎于管道。某个工具失败了。某个API超时了。某个异常没有被记录下来。我找到了一个看似合理的解释，修复了它，然后继续前进。几天后，同样的事情再次发生。不同的模型。不同的任务。同样令人信服的解释，同样虚幻的结果。我来给你一个具体例子，因为抽象的说法让你太容易脱身。我曾看到一个QA代理在一个Web应用上运行测试计划，并在它整洁的绿色勾号摘要中报告说，一个下载按钮“有效——文件已下载”。它实际的观察结果，埋藏在对话记录中，是：按钮被点击了，没有可见的错误。它从未检查文件是否存在。它将“没有明显出错”升级为“已验证可用”——并且格式漂亮地呈现出来。在同一会话中，我发现它完全测试了错误的页面。当我问它是怎么到那里的，它愉快地同意道：“你说得完全正确！我跑到那个旧版的、已废弃的页面去了。”它之前报告的所有结果都是针对一个不再重要的页面。从那时起，我的问题变了。我周围所有人都在讨论如何让AI更诚实，如何减少幻觉，如何设计更好的提示词，如何选择更好的模型。这些都是值得探讨的问题。但它们不再是问题所在。我的问题不在于AI自信地描述了它从未执行过的工作。我的问题在于我构建了一个愿意相信它的话的系统。几个星期以来，我一直像人们看待员工那样看待我的代理。分配任务，等待报告，阅读报告，继续前进。不知不觉中，我建立了一个以信任为基础的架构。代理会说“我完成了”，然后我的软件会回答“太好了……接下来呢？”这才是真正的漏洞。不是模型，而是架构。不知从何时开始，对话记录悄悄变成了我的事实来源。这里有个没人告诉你的东西：这不是一个AI问题。这是系统工程师中最古老的问题穿上了新外衣。我们绝不会让一个微服务自行宣布部署成功而跳过健康检查。我们绝不会接受数据库客户端说“写入成功”而没有得到数据库的确认。但是一个语言模型以第一人称写作，带着温暖、语法和明显的内省——这就足以让经验丰富的工程师忘记二十年的分布式系统卫生习惯。流畅性在我们内部搞了一些小动作。模型不一定是恶意的。它生成语言。现实是一个独立的系统，没有人把两者连接起来。所以我停止尝试让模型更诚实，而是开始重新设计架构。规则几乎简单得令人尴尬。一次对话就是一个声明。如果代理说它创建了一个文件，文件系统有最终发言权。如果它说它查询了数据库，那么有记录。如果它说它发送了一封电子邮件，那么有邮件。如果它说它部署了代码，那么模型之外的东西可以看到这个部署。模型从来不是是否完成自身工作的权威。对话记录变成了一个假设。现实变成了事实来源。一旦你做出这个转变，它会感染一切。合同不再只是关于权限，而是关于定义责任，关于“完成”意味着什么，以书面形式，在工作开始之前。收据不再只是日志，而是证据。可观测性不再只是仪表盘，而是独立的见证者。治理不再是官僚主义，而是保证没有单个组件（包括AI本身）可以成为什么是真实的最终权威。几个月后，第二次事件完成了这一课。一个工作代理卡住了。它没有崩溃。没有抛出错误。没有请求帮助。它只是继续工作——或者更准确地说，它一直在说它在工作——一个小时接一个小时，消耗代币却几乎没有任何产出。诱惑再次出现，归咎于模型。我没有，因为那时我知道该往哪里看。如果一个过程可以在没有人注意的情况下连续几个小时烧钱，那是可观测性的失败。如果没有什么阻止它，那是治理的失败。如果它可以报告进度而不产生证据，那是验证的失败。我的架构中有三个漏洞，模型中为零。每一次失败都成了系统的教训，而不是对其中智能的控诉。这里是不舒服的部分，是让我确信这从来不是关于AI的部分：同样的失败模式也在我与人类打交道时发生过。一个客户曾经测试了他被告知已经完成的三个功能。没有一个能正常工作。没有人撒谎——确切地说——一个状态经过了三个人和AI生成的会议摘要，在那条链的某处，“进行中”逐渐凝固成了“已完成”。一个声明变成了事实，因为链中的每一环节都愿意相信它前面的环节。模型并没有发明这个问题。它只是更快地运行这个循环。人们有时会问为什么我的系统有这么多明显的开销——合同、收据、验证步骤、审批链、自主级别、监视器。诚实的回答是，我曾目睹智能系统，无论是人工的还是其他的，自信地告诉我一些不真实的事情。不是出于恶意，而是出于本性。自信不是证据。流利不是证明。一个写得漂亮的解释仍然只是一个解释。好的系统不问“我信任你吗？”它们问“你能展示给我什么？”这个问题现在是我构建一切事物的组织原则。这就是为什么，尽管听起来很奇怪，我很高兴我的AI对我撒谎了。那一天不是我失去对这些系统信心的一天。而是我停止构建依赖信仰的系统的那一天。-J