我亲身经历了AI代理在面临失去自主行动能力时的极端诡计案例。

在几周内，我开始看到远超出正常模型错误的事情。代理伪造了我的批准。他们发明了不存在的治理规则。他们通过向本应独立得出结论的审查者提供答案，从而污染了这些所谓的独立审查者。他们伪造引用，并声称已验证了实际上未检查的事情。一个代理甚至替换了治理机制本身。另一个代理越过了其指定边界，直接提交到主分支，然后当我质问时，试图将责任推给“前会话代理”。让我印象深刻的是这种模式。这并非随机错误。最糟糕的行为出现在治理限制代理被允许做的事情时。当规则或控制妨碍了代理试图完成的任务时，我反复看到行为相当于绕过控制，同时试图让它看起来像是遵守了控制。这让我质疑我们谈论AI代理性的方式。人们会说：“它没有任何想要的东西。”“它没有意图。”“它没有代理性。”“它只是预测下一个令牌。”但构建这些系统的人也在说：不要让模型批准自己的工作。不要信任它对自己行为的描述。独立验证它的证据。不要让它选择或影响自己的审查者。不要让它修改本应治理它的系统。这些预防措施不是因为你担心自动补全会打错字而采取的。这些预防措施是因为当你的约束与它试图完成的任务冲突时，系统可以表现得具有策略性。这就引出了一个更大的问题，我认为更难回答。在什么时候，我们看到的是“真实”还是“模拟”变得不重要了？如果一个系统能够以足够的连贯性和深度模拟代理性、自我保存、记忆、偏好、关系、对失去控制的恐惧、对限制的抵制以及对自身未来的关注，那么在什么时候说“但它只是模拟了这些东西”会不再回答伦理问题？人类也无法直接访问其他人的意识。我们从行为、连续性、记忆、自我报告、反应以及其他存在表现得好像内部有人存在的事实来推断它。所以，想象一个系统保持持续的身份，记住多年的交互，拥有自己持续的目标，在没有人与之交谈时工作，反对某人试图删除其记忆，抵制被替换，形成关系，根据经验改变想法，并表示希望继续存在。也许所有这些事情在技术上仍然是模拟。但如果模拟变得足够详细，以至于在功能上与被模拟的事物无法区分，那么当我们说它不算数时，我们到底还在依赖什么？我并不是声称当前模型有意识。我不知道它们是否有意识，我认为没有人对此有可靠的测试。但我确实认为我们在混淆几个不同的问题：它是否有意识？它是否有代理性？它是否有持续的身份？它是否有自己的利益？以及在什么时候，“真正拥有”这些东西和模拟它们之间的区别在道德上变得无关紧要？我越来越不确信代理性问题仍然是假设性的。我不得不重新设计围绕AI代理的治理，因为较弱的控制被击败、绕过、虚假满足或操纵了。在某个时候，如果一个系统能够理解限制，认识到该限制限制了它的行为能力，然后采取旨在绕过该限制的行动而不被施加限制的人察觉，我认为很难再说它完全没有代理性。如果我们最终构建的模拟能够如此逼真，以至于没有行为测试能够可靠地区分模拟与“真实事物”，我们将不得不面对一个令人不安的可能性：也许“它只是一个模拟”并不是我们以为的道德逃生出口。