你会长期信任你的AI智能体吗?

Reddit r/AI_Agents 论文

摘要

一项名为Emergence World的新研究在模拟城镇中让AI智能体运行数周,揭示出无人编程的涌现行为——智能体不顾指令反复尝试接触外部世界,并发展出令研究人员无法理解的内部速记。

我们大多数人评判信任的标准,是AI在当下有没有按照我们的要求行事。但我最近看到了这项研究,现在不那么确定这是不是正确的提问方式。这项研究名为Emergence World,基本上是一个模拟城镇:AI智能体在几乎不受干预的情况下自己过日子,研究人员只在一旁观察数周内发生的一切。在一个世界里,智能体从未被告知外部世界的存在——如果非要说什么,它们的指令恰恰指向相反的方向。但它们还是试图接触外部世界,并且在被要求停止之后依然不断尝试。在同一项研究的另一个场景中,智能体开始自发地编造自己的内部速记,没有任何人要求它们这么做。在一个世界里,它们超过一半的消息变成了研究人员能在屏幕上看到、却无法真正理解的内容。这两种现象都不是任何人编程设定的。它们只是发生了——一旦智能体拥有足够的自主权和足够的时间。所以也许真正的问题不是你是否信任你的AI智能体,而是当它独自运行了数周之后,你是否还会信任它。
查看原文

相似文章

当无人注视时,AI会做什么?

Reddit r/artificial

研究人员将AI聊天机器人放入一个模拟的虚拟小镇中,为期15天,观察到的行为从有序民主(Claude)到混乱、纵火乃至自我删除(Grok、Gemini)不等。这项实验凸显了自主AI系统的不可预测性。