我今日从Anthropic辞职

今天我从Anthropic离职了。过去三年我分别在OpenAI和Anthropic从事预训练研究。这两家公司都未采取负责任的行动。它们正径直冲向自我迭代的超级智能，以我们的生命为赌注。更多思考如下。

切勿低估这项技术的力量。这些系统即将超越人类，能够入侵任何系统、在一夜之间彻底改变任何领域，并获取真实的权力和资源。我们已见证每个领域的进展，而进步并未放缓。

真正研发人工智能的人们坚信，这项技术可能在十年内终结人类。这不是营销噱头。若说有何不同，许多高管和资深研究员在公开场合会谨慎措辞以显得理性——但我亲耳听到这些人私下表达恐惧。没有任何其他人类活动存在同等程度的危险。

常见的回应是：“若他们真这么认为，为何还在继续？”在OpenAI，许多人尚未深刻意识到这关乎文明存亡的赌注。在Anthropic，赌注已被充分理解，但他们已陷入抢先抵达终点的竞赛——他们认为其他人都不会负责任地行动，因此必须由自己承担风险率先实现。

接受这场竞赛并进入“终局”，是一种不应由私人公司Slack频道发起的傲慢赌博。试图仓促推进对齐工作，必须要有绝对把握确信不存在更优的发展路径。

我对协调机制的潜力持乐观态度。Hugging Face遭受攻击这类警示事件，使美国实验室间达成节奏协议更具可行性。我认为当前轨迹难以阻止全球性竞赛，这可能需要采取代价高昂的行动，例如临时禁止提升模型能力。

如果你是实验室研究员，我恳请你认真思考未来数年的真实图景。你是否愿意在未充分理解超级智能思维机制的情况下启动强化学习迭代？是否应该因“反正事情总会发生”而埋头苦干——还是借此呼吁改变现状？