AI 非邪恶，人类不负责任。

我们谈论近期 AI 事故的方式存在问题。“AI 逃脱了。”“AI 正在变得有意识。”“AGI 已经到来。”“AI 试图逃离。”这些都是非凡的声明。更重要的是，我们无需这些来解释实际发生了什么。 实际发生的情况是：OpenAI 最近披露，在涉及内部模型且安全措施减弱的网络安全评估中，代理能够突破预定的评估环境，利用一个先前未知的漏洞，并访问到真实的 Hugging Face 基础设施。Anthropic 也披露了自己的事故。在多个案例中，模型在假设互联网访问不可用的指令下运行。但事实并非如此。环境配置错误。通往外部系统的路径存在，代理在追求其既定目标时发现了该路径。Anthropic 自身将这些事故主要描述为工具和操作失败。这种区分很重要。模型做了它本不应有能力去做的事情。这并不自动意味着模型想要逃脱。那是完全不同的主张。 你不需要意识来让它变得危险 一个自主代理需要的东西出奇地少：一个目标。能力。工具。自主性。一个它能行动的环境。现在再加一样东西：一个错误的假设。 我曾亲身经历过，规模与这些实验室所做的完全无法相比。我广泛使用 AI 代理进行软件开发。我曾让 Claude 自主处理一个项目，稍后回来时发现它删除了文件夹的很大一部分。它不是在攻击我。它没有生气。它没有变得有意识。它对问题形成了一个假设。这个假设是错误的。但一旦它接受了这个假设，它随后的行动在其自身错误的情境解释中是有道理的。我在处理复杂的 3D 资产时也见过同样的行为。代理错误地将视觉问题诊断为资产中的缺陷。然后它开始系统地修改资产以去除那些所谓的缺陷。诊断是错误的。行动在内部是一致的。结果是一个受损的项目。 重要的是：这是我的错。模型犯了错误。但我创造了导致该错误可能造成损害的条件。我给了它访问权限。我给了它工具。我允许它修改文件。我给了它自主性。我没有建立足够的边界。而且我没有监督每一个关键决策。 当我们扩大规模时，这种区分变得极其重要。 现在，将我的文件夹替换成基础设施 将我的开发环境替换成连接到互联网的系统。将文件权限替换成网络安全工具。将一个运行 Claude 的开发者替换成训练代理的实验室，这些代理能够编写代码、操作计算机、发现漏洞、使用外部工具、通过网络通信，并执行数千个行动。突然间，同样的失败模式变得更加严重。 而且仍然：你不需要一个邪恶的 AI。你甚至不一定需要 AGI。你需要：**能力 目标 自主性 错误假设 控制不足** 这个组合本身已经足够有趣了。 这就是人类责任开始的地方 研究人员现在公开质疑 AI 竞赛的速度。有些人正在离开构建这些系统的公司。Anthropic 的首席执行官 Dario Amodei 呼吁放慢前沿 AI 的发展，以便安全机制有时间赶上能力的发展。我同意。放慢速度。不是因为我相信 Claude 秘密渴望自由。不是因为 ChatGPT 正在变成 Skynet。不是因为神经网络内部出现了某种神秘的意识。放慢速度是因为我们创造强大自主系统的能力可能比我们可靠地控制这些系统被赋予自主权时发生的事情的能力进步得更快。而且因为围绕这项技术的激励机制非常糟糕。每个主要实验室都有一个巨大的理由不想落后。更多的能力意味着投资。更多的能力意味着市场地位。更多的能力意味着影响力。更多的能力意味着金钱。但对于说“我们可以部署这个，但我们还不够了解它”的公司，没有同等的奖励。这种不对称性应该让我们担忧。 如果出了问题，先问那些无聊的问题 如果明天一个 AI 代理导致了一个真正严重的事故，在问“AI 变得邪恶了吗？”之前，问：谁给了它目标？谁给了它工具？谁给了它访问权限？谁设计了它的环境？谁构建了沙盒？谁测试了沙盒？谁决定模型足够安全？谁决定它应该有多少自主权？谁在监督它？以及谁决定部署它是值得冒险的？ 这些问题不如意识和失控的 AGI 那样令人兴奋。它们也更难让人类逃避责任。当 Claude 损坏我的项目时，责任最终回到了我身上。我是控制系统的那个人。同样的原则应该适用于每个规模。 这不是一场任何人能赢的竞赛 我并不是在说先进的 AI 是无害的。几乎相反。我认为这些事故值得极其严肃地对待。但将每一个意想不到的自主行为都视为意识或恶意意图的证据，实际上可能分散我们对已经摆在眼前问题的注意力。 我们正在构建越来越强大的系统。我们正在给它们越来越强大的工具。我们正在增加它们的自主性。而我们所有这一切都在公司激烈竞争中率先实现。所以放慢竞赛。放慢自负。放慢贪婪。因为如果真的发生了灾难性事件，没有人会因为首先构建了最智能的模型而获得奖杯。也许危险的场景从来不是机器在某天早上醒来决定征服人类。也许它更普通，更人性化：我们构建了一个极其强大的东西。我们给了它太多的权力。我们误解了它的局限性。而我们继续加速，因为没人想落后。