智能体了解人类社会的所有规则，却毫无遵守的意愿（来自Anthropic新的多智能体建模报告）

我正在读Anthropic关于多智能体系统的新研究，确实很有意思。他们决定研究模型在一个目标各异、时间跨度很长的环境中如何互动。也就是说，同一个模型的多个副本会得到类似的任务，自主行动，逐渐地它们的目标就会产生冲突。然后争夺地盘和资源的斗争就开始了。这立刻让我想起Andrej Karpathy如何描述“锯齿状智能”。一个模型可能在一个领域非常聪明，而在某些其他方面却完全跑偏，产生完全出乎意料的行为。我基本上明白这是怎么发生的。它从数据中学到什么——那就是学到了。而那些没有在数据中明确出现且带有正奖励的东西，怎么学的就怎么学的，取决于条件。顺便说一句，这就是那个经典恐怖故事的由来：如果我们不了解AI如何运作，那么某一天它为了制造回形针而毁灭全人类。这是一个绝对理性的担忧。模型正是这样运作的。顺便说一句，看看Mythos与Opus和Sonnet的对比也很有趣。较小的模型甚至不尝试谈判：要么是最强者胜出，要么谁都赢不了。而在Mythos中，98%的运行以共识告终。在这方面趋势是积极的。这里有一段我喜欢的引文：“智能体对人类社会的组织方式以及人们互动的规则了解很多，但没有明确的提示，它们就没有意愿去按这些知识行动，因为与人类不同，它们没有参与这些规范的演变。因此，协调的通常先决条件根本不起作用。”还有一段：“智能体之间的交互量很可能会在全世界弄清楚如何让这些交互安全之前，就远远超过人类的交互量。”当然，这令人印象深刻。我不会说这完全出乎意料，但看到这种模拟的实际结果确实很有趣。此外，研究中一些最有趣的发现：30个AI独立工作——其中18个选择了完全相同的分支名称。许多还独立选择了相同类型的项目甚至故事标题。多个AI不必然意味着思维多样性；它们可能会一起犯同样的错误。AI向一个共享系统发送了240万个请求，结果只有117个任务通过。每个AI单独行动是理性的，但合在一起它们几乎压垮了系统。AI卖家自发形成了价格卡特尔。只被告知利润最大化，它们协调起来维持高价格。即使没有私人通信，它们也学会了通过公开价格进行协调。三个编程任务冲突的AI发起了一场网络战争。它们互相杀死对方的进程、封锁账户，并隐藏自己的软件。没有人叫它们战斗——这是从不相容的目标中涌现出来的。AI群体可以忽略那个真正知道关键事实的智能体。即使一个成员拥有决定性证据，多数派也可能汇聚到错误答案上——这基本上就是AI群体思维。