如果你的雇主有能力毁灭世界，你会怎么做？

# Jacob Coxon 和其他 AI 实验室员工谈离职原因 来源：https://nymag.com/intelligencer/article/ai-researchers-quit-openai-anthropic.html ## 如果你的雇主有能力毁灭世界，你会怎么做？ ## 来自 OpenAI、Anthropic 和 DeepMind 叛离者的离职访谈。 图片来源：New York Magazine 9 月 8 日，27 岁的 Anthropic 员工 Jacob Coxon 在 X 上发布了一份辞职声明，在互联网上引发广泛关注。Coxon 是一名能力研究员（capabilities researcher），负责让模型变得更强大、更自主。他因抗议公司追求通用人工智能（AGI）的行为——他认为这种做法等同于自杀式的鲁莽——而辞职。 ## 如果你的雇主有能力毁灭世界，你会怎么做？ package-table-of-contents-photo (https://nymag.com/magazine/toc/2026-10-05.html) 查看全部 (https://nymag.com/magazine/toc/2026-10-05.html) 对 AI 领域而言，一名 Anthropic 员工相信自己公司的技术可能会终结世界，这并不算什么新闻。（Anthropic 由前 OpenAI 员工创立，他们认为 OpenAI 若不受约束，真的会走到那一步。）但一名 Anthropic 员工公开辞职以示抗议，却是新闻。OpenAI 和 Anthropic 是世界上最强大的公司之一。他们处于行业的前沿，正在构建他们中大多数人认为有史以来最重要的技术。当有人离开一家实验室时，往往会直接跳槽到竞争对手那里。2024 年从 OpenAI 辞职的 Daniel Kokotajlo 回忆起一位研究员对他说的话：从一家实验室离职，就等于"放弃你的国籍。从此你就是个无名之辈。谁会保护你？" 争论很快展开了：如果你是一名相信这些风险存在的实验室员工，你该怎么办？是辞职以示反抗更好？还是留在内部、靠近权力中心进行推动更好？而这个选择又会如何影响你的友谊和社群？ Coxon 加入了 OpenAI、Anthropic 和 Google DeepMind 中一小群多年来选择离开的员工之列。*New York* Magazine 与 *Asterisk* (https://asteriskmag.com/) 杂志合作，邀请了其中八位。这群人离开的原因各不相同。其中一些人，如 Coxon 和 Kokotajlo，希望引起人们对 AI 加速进步所带来的风险的关注。另一些人反对雇主与美国国防部的合作，或对曾经充满理想主义的非营利组织演变为商业巨鳄感到沮丧。还有一些人则认为，他们所从事的工作——无论是安全研究还是关于大规模失业的研究——在外部会更有价值。 ## 受访者 ***Miles Brundage，****OpenAI，2018–24，政策研究主管 ***Rosie Campbell，****OpenAI，2021–24，政策前沿团队负责人 ***Jacob Coxon，****OpenAI，2023–26，Anthropic，2026 年 5–9 月，能力研究员 ***Jacob Hilton，****OpenAI，2018–23，强化学习研究员 ***Pamela Mishkin，****OpenAI，2020–26，经济学研究团队负责人 ***Daniel Kokotajlo，****OpenAI，2022–24，治理研究员 ***Alex Turner，****Google DeepMind，2023–26，对齐研究员 ***Jeff Wu，****OpenAI，2018–24，Anthropic，2024–26，对齐研究员 我是 *Asterisk* 的主编，这是一家总部位于旧金山湾区的非营利杂志，自大语言模型通过高中数学测试还是一件大事的时代起就一直在报道 AI 领域的动态。*Asterisk* 获得 Coefficient Giving 的资助，文中一些受访者或其所在机构也接受该组织的资助。有些人是陌生人，有些人是朋友。他们关心的问题各不相同，对 p(doom)（世界毁灭概率）的看法也不一致——事实上，他们甚至不一定认为 p(doom) 是一个自洽的概念。但他们的观点合在一起，为我们提供了一个坦率的视角，审视 AI 竞赛以及许多员工所面临的个人权衡。 ——*Clara Collier* **你们二人都非常担忧 AI 风险，希望推动实验室更加谨慎。你们为什么认为自己在外部更能促成这种结果？** **Daniel Kokotajlo：**我离开 OpenAI，主要是因为我对这家公司、尤其是管理层，失去了信心，不相信他们会负责任地行事。我需要更多自由来谈论我所看到的未来走向。我想把自己辞职的原因公之于众。 **Daniel Kokotajlo，**OpenAI，2022–24，治理研究员 你可以选择打内部战，也可以选择打外部战，而在我看来，内部战行不通。管理层非常善于仔细倾听每个人的诉求，表示赞同，然后什么也不做。而且公司文化偏向于过度乐观，以及那些自圆其说的叙事，讲述自己正在做的事多么合理。我真的不认为公司可以指望自我监管。我在外部发表公开言论和发表研究，所产生的影响远大于我留在内部多写几份备忘录所能达到的效果。 **Jacob Coxon，**OpenAI，2023–26，Anthropic，2026 年 5–9 月，能力研究员 **Jacob Coxon：**我的想法和 Daniel 差不多——只不过现在离关键时刻更近了。这次的想法更多来自我与 Anthropic 管理层直接谈论他们明年的计划，我当时的感觉是，*哇，我不想参与这些计划。*就像，*第一步，我不想参与。第二步，辞职。第三步，告诉别人，我想吧。第四步——我不知道。* **他们谈论的是什么样的计划？** **JC：**这是与直接负责研究的人的对话。不是 Dario Amodei，而是在公司待了很久、对公司发展方向有很多了解的人。他们的看法一直很一致：2027 年一切会变得疯狂起来。谈话中非正式提到的主要一点是，人们不认为政府监管会及时出台，特别不认为任何形式的国际合作是可能的。这一点也许不该让我意外，但确实让我意外了。我一直抱着这样一种期待：当人工超级智能就在眼前时，人们就会开始认真对待它，它不再是实验室里做着玩的有趣事物。 **Jacob，你原本就已经担忧存在性风险。你在 Anthropic 过去几个月的观察在多大程度上改变了你的想法，还是说这本来就是你预期的走向？** **JC：**对我来说，我的理性信念和内心直觉之间有相当大的区别。如果你在进入 Anthropic 和离开 Anthropic 时让我阐述自己的观点，它们听起来可能会非常相似。但从开始到结束的实际感受，却非常非常不同。 刚入职时，我的工作和其他形式的数学研究没什么区别。我心里清楚这是最重要的行业——这就是我在这里工作的原因。但我不觉得自己有必要去接触相关的哲学问题或策略细节。那些都是别人的活儿。到了最后，当我看着我们即将训练的下一代模型的预测能力时，我发自内心地感到：*哇，我们即将训练的模型让我相当害怕。*如果不是这一代，那肯定是下一代。 **你能向非研究者解释一下你注意到了什么吗？** **JC：**目前，我们使用 AI 时，研究人员仍然需要提供想法和方向，并且仍然要做大量的"保姆式"工作。我认为一种很强的可能性是，下一代之后的模型在自主产生想法方面也会同样出色。这意味着在整个研究过程中，不再需要研究人员来为 AI 提供有趣的想法，研究人员完全可以对 AI 说："好了，好好做研究吧"，然后就放手不管了。所以，非常具体地说，看着我们即将创造的能力让我感到相当直观的恐惧，也让我感到相当无力。 **在你离开之前，你在做这个决定的过程中和谁谈过？** **JC：**我找 Daniel 谈过，因为离开的一部分原因就是看到了他的 "AI 2040" 情景——将 Plan A 与默认轨迹进行对比，是我在内化当前轨迹有多糟糕这一认知时相对重要的一环。我还和 Anthropic 的很多很多人聊过，他们都有关于如何离开的建议。在公司内部，我和 Holden Karnofsky、预训练负责人 Nick Joseph 等人聊过，看看他们的看法。 **那些谈话怎么样？** **JC：**很平常。旧金山湾区有很多聚会，人们在那里消磨时光，而其中一群人会说另一群人正在导致世界末日。在工作中，如果双方都保持礼貌，你们可以进行相当激烈的交锋，说"我认为你即将把我们推向世界末日"，然后还能相当平和地结束这通 Zoom 通话。 **有人反驳说，这些存在性风险的警告是为了给 AI 公司的 IPO 造势。你怎么看？** **JC：**Evan Hubinger 的那条推文肯定没有帮到 Anthropic 的 IPO。这种炒作论调在几年前也许还站得住脚，但风险现在已经严重到明显正在对公司估值产生负面影响。 **有一个 AI 安全组织的生态系统，它们独立于实验室之外，但与实验室合作紧密——例如，它们可能研究如何判断 AI 模型是否在说真话，或如何确保它们得到充分的监督。这让你感到不安吗？还是说你认为维持这些联系是必要的？** **DK：**这有时确实让我感到不安，但我有意识地选择继续与这些公司接触，而这种做法在某种程度上是值得的。我觉得很多公司内部的人说过，"AI 2027" 和 "AI 2040" 对他们影响很大。但我对此确实还是感到不安。有时我会想，我和其他人是否应该采取更硬的立场，更接近于抵制和疏远。 **那么，这在多大程度上是一种战略选择，又在多大程度上是一种人际关系的选择？** **DK：**战略选择是：无论是我个人，还是我们整个社群，是否应该因为这些影响或出于道德原因，试图划出某种界限——某种形式的抵制或疏远？对此，我会说战略选择是"否"。保持这些关系更重要，这样人们才会听取我们的意见、听到我们的想法，诸如此类。然后是人际关系的选择：从个人层面来说，你会和那些你认为正在毁灭世界的人交朋友、一起聚会吗？答案是"不会"。我不会邀请公司里那些能力研究员来参加我女儿的生日聚会。我在各种活动上偶尔会遇到他们，但我作为个人并不喜欢他们。 **JC：**我主要还是归咎于这种局面——整体的竞赛格局，这种技术本身就是由私营公司来开发的这个事实，以及政府似乎并不怎么关心这个事实。所有这些，我归咎的程度都远高于我归咎个人的程度。一个月前我还是能力研究员，所以我说这话可能比较容易。但总体而言，这感觉更像一个系统性问题，需要我们在系统层面去应对。对于个人，我只是觉得——我不知道——好像没那么重要。 **我不认同这一点。这些实验室一直在说自己受制于人才短缺，说个别研究员起着很大的作用。我不确定自己是否相信这些个人选择真的不重要。** **DK：**我并没有说它们不重要。这就是我认为人们应该辞职的原因，而我也一直在这么说。 **JC：**我想你是对的。并不是它们不重要。而是我没有去责怪他们。我看到了这些激励机制。我其实并没有—— **DK：**我是说，我*确实*会责怪他们。但我认为责备是有轻重之分的。我会对公司的安全人员有一点点责备，因为他们应该意识到，在外部也许能比在内部做出更多的善举。我会对能力研究员有中等程度的责备，因为他们应该意识到自己正在做的事对世界并不是好事，而他们给自己讲的那些关于为什么这是好事的故事，不过是事后合理化。我会对管理层有很大的责备，因为他们正在直接把我们引向深渊。然后我责备这个系统，因为激励机制等等。 **那么，Jacob，作为一名一个月前还是能力研究员的人，你当时给自己讲的是什么故事，来说明这样做是可以接受的？** **JC：**说实话，取决于你在什么时候问我。我会开玩笑地说类似"我正在做的东西正在毁灭世界"这种话。但就像我说的，我对整个事情的理解是，这是一个系统，而我觉得自己只是系统中的一个齿轮。 **DK：**我听过很多人说"一切都会好的。别担心。超级智能还很遥远。当前的范式会逐渐淡出"之类的话。随着我们越来越接近，这种故事出现的频率越来越低了，但它确实很常见。当然，还有一种故事是"是的，这很危险，但如果我不做，别人也会做"。我记得我与一位在 OpenAI 工作、我不太熟的人有过一次非常动人的对话。他是外国人，他说："我觉得一旦美国在 AI 领域建立起这种领先优势，我的国家就会被美国彻底架空。这让我感觉很糟糕，因为我爱我的国家。但又能怎样呢？我阻止不了这一切，所以我打算在这个过程中顺便多赚点钱。"还有各种其他类型的人也说过："这会是一场混乱。这将是人类历史上最疯狂的变革。谁知道结局会怎样？但通常人类能存活下来，而且历史上技术总体上是好的，所以我觉得大概会没事。不管怎样，我非常期待看到这一切变革。这绝对会令人惊叹。"我认为人们对这个过程有一种发自内心的兴奋。 **这确实有吸引力——你会觉得自己在做有史以来最重要的事情，哪怕它是"最重要"的方式，是它会把我们全部杀死。** **JC：**这一点我可以反驳一下，就是说，真的、说实话，我想要一种普通的生活。我辞职的一部分原因，是真正认真思考了未来三到五年的生活。我常常幻想，比如在 Google 早期工作，那时候它同样拥有那些令人兴奋的新鲜技术——技术在增长、身边都是聪明的人一起解决问题——但没有那种你正在做的东西可能在明年就失控、造成彻底毁灭的事情。所以我可以诚实地说，我更宁愿留在那里，继续在白板上做有趣的工作，而不是让末日悬在头顶。 **DK：**我想说的话也差不多。我有两个孩子，我很喜欢花时间和他们在一起。无法真正憧憬未来是很糟糕的，因为每当我刚想憧憬，就被我所知道的其他一切打断了。我和妻子会不自觉地聊起"哦，几年后小的就和大的上同一所学校了，我们可以一起送他们上学"。然后你脑子里会有一个声音说：*也许不会。*我不知道。除了这些 AI 的事情，生活里还有很多值得期待的东西。而且我很希望这一切最终就只是一种普通的技术，从来没有真正发展出什么，也没有真正那么强大和危险……