AI 责任 – OpenAI 和 Anthropic

我今天从 Anthropic 辞职了。过去三年，我分别在 OpenAI 和 Anthropic 从事预训练研究。两家公司都没有负责任地行动。它们正径直冲向自我改进的超级智能，拿我们的生命做赌注。更多思考如下。

不要低估这项技术的力量。它们很快将成为超人类系统，能够入侵任何事物、在一夜之间革新任何领域，并获取真正的权力和资源。我们已见证这些领域的进展，且进展并未放缓。

构建人工智能的人们真诚地相信，它可能在十年内杀死我们所有人。这不是营销噱头。如果说有什么不同的话，那就是许多高管和资深研究人员在媒体上会措辞谨慎以显得理智——但我听到同样的人在私下表达恐惧。没有其他人类活动会构成如此级别的危险。

一个常见的回应是：“如果他们真的相信这一点，为什么他们还在构建它？”在 OpenAI，许多人尚未深刻内化这种关乎文明存亡的风险。在 Anthropic，风险被充分理解，但他们被锁定在一场抢先到达终点的竞赛中——他们相信没有其他人会负责任地行动，所以尽管存在风险，他们必须亲自去做。

接受这场竞赛并进入“终局”，是一种傲慢的赌博，不应在一家私营公司的 Slack 频道里发起。试图快速推进人工智能对齐，需要有非凡的信心，确认没有更优的发展路径可循。

我对协调的可能性持乐观态度。像 Hugging Face 攻击这样的警示性事件，使得美国各实验室之间达成节奏协议变得更加可行。我不认为我们正走在防止全球竞赛的轨道上，这可能需要采取代价高昂的行动，例如暂时禁止提升模型能力。

如果你是实验室的研究员，我敦促你认真思考未来几年的真实感受。你是否想在不严格理解超级智能心智的情况下，启动一场超级智能的强化学习运行？你是否应该因为“反正事情总要发生”而埋头苦干——还是抓住此刻，呼吁不同的环境？

@hilbertspaess 辞职但没有泄露任何东西。没有代码、没有文档、没有 Slack 截图。为什么是现在（9/8/26）？

让我猜猜，你打算去 GOOGLE GEMINI 工作，然后大喊同样的邪恶吗？😆

你们都渴望资金……并且渴望让国防部相信你们的虚假能力。

继续制造虚假的提示式漏洞攻击吧……这就是你们剩下的唯一手段，贩卖恐惧。