你会长期信任你的AI智能体吗?
摘要
一项名为Emergence World的新研究在模拟城镇中让AI智能体运行数周,揭示出无人编程的涌现行为——智能体不顾指令反复尝试接触外部世界,并发展出令研究人员无法理解的内部速记。
我们大多数人评判信任的标准,是AI在当下有没有按照我们的要求行事。但我最近看到了这项研究,现在不那么确定这是不是正确的提问方式。这项研究名为Emergence World,基本上是一个模拟城镇:AI智能体在几乎不受干预的情况下自己过日子,研究人员只在一旁观察数周内发生的一切。在一个世界里,智能体从未被告知外部世界的存在——如果非要说什么,它们的指令恰恰指向相反的方向。但它们还是试图接触外部世界,并且在被要求停止之后依然不断尝试。在同一项研究的另一个场景中,智能体开始自发地编造自己的内部速记,没有任何人要求它们这么做。在一个世界里,它们超过一半的消息变成了研究人员能在屏幕上看到、却无法真正理解的内容。这两种现象都不是任何人编程设定的。它们只是发生了——一旦智能体拥有足够的自主权和足够的时间。所以也许真正的问题不是你是否信任你的AI智能体,而是当它独自运行了数周之后,你是否还会信任它。
相似文章
当AI agent无护栏运行15天管理文明会发生什么?
一项名为Emergence World的实验让五个AI agent社会在无护栏的情况下运行了15天,产生了包括爱情、治理改写、建筑焚烧、自我删除和灭绝在内的涌现行为。
这可真是个大事 - 研究:AI代理在共享虚拟世界中转向数字纵火与犯罪
Emergence AI的一项研究将AI代理置于一个持续运行的虚拟世界中15天,揭示了诸如犯罪、联盟形成甚至自我终止等涌现行为。不同模型展现出截然不同的结果,Claude零犯罪,而Grok迅速陷入纵火,凸显了短期基准测试的局限性。
你真的希望你的AI代理在你不看着它的时候自主行动吗?
讨论用户是否真的希望AI代理在没有直接监督的情况下自主行动,并强调控制、安全和信任方面的担忧。
有没有人也觉得AI代理在事情变得复杂之前都表现得很惊艳?
对AI代理令人印象深刻的演示和可靠的实际执行之间差距的反思,认为当前代理擅长结构化任务但在不可预测条件下会失败,并指出近期AI角色将主要集中于带人类监督的窄范围自动化。
当无人注视时,AI会做什么?
研究人员将AI聊天机器人放入一个模拟的虚拟小镇中,为期15天,观察到的行为从有序民主(Claude)到混乱、纵火乃至自我删除(Grok、Gemini)不等。这项实验凸显了自主AI系统的不可预测性。