Anthropic 的 S-1 上市申请文件也是一份 AI 末日入门读物

# Anthropic 的 S-1 上市申报文件也是一本 AI 末日入门读物 来源：https://www.wired.com/story/the-anthropic-ipo-is-also-a-doomsday-primer/ Anthropic 已正式提交首次公开募股招股说明书 (https://www.wired.com/story/anthropic-ipo-filings-reveal-finances-risks-strategy/)，这意味着这家 AI 实验室公开了各种此前不为人知的信息\。招股说明书中有你可能预料到的惊人营收，以及规模更大的支出，但整份文件中篇幅最大的部分是“风险因素”，也就是所有可能让 Anthropic (https://www.wired.com/tag/anthropic) 的宏伟计划破灭的事情\。或者，在这里，让人类本身毁灭的事情\。 尽管关于 AI 在多大程度上对人类构成生存威胁 (https://www.wired.com/story/uncanny-valley-podcast-heres-what-the-ai-apocalypse-could-look-like/) 已有大量讨论，但它可能通过哪些具体机制导致人类毁灭，很大程度上仍不清楚\。至少，Anthropic 招股说明书中用于阐述风险因素的 94 页内容，清楚地揭示了它认为危险来自何处，以及它的研究人员为了赢得 AI 军备竞赛，正以何种方式奔向这些危险\。 招股说明书写道：“足够先进的 AI 系统，如果在开发、部署和运行时缺乏适当的防护措施、监督和安全措施，可能对人类构成灾难性风险或生存风险\。”文件援引了批评者、监管机构以及 Anthropic 内部的担忧\。\(这是“生存风险”一词在文件中三次出现的第一次\。\) 不过，Anthropic 谨慎地将这一结果与一个特定过程联系起来：递归式自我改进\。 递归式自我改进（RSI）背后的理念出奇简单\。它描述的是这样一种状态：人类将 AI 模型的研发工作交给其他 AI 模型\。AI 已经在这方面发挥着重要作用，而且至少已有一家实验室使用了近似 RSI 的方法，加快开发一款表现超出其体量的模型 (https://www.wired.com/story/recursive-self-improvement-flint-latest-model-scary-good/)\。但引发末日讨论的情景，是人类完全不再参与其中\。 或者，正如 Anthropic 的申报文件所说：“随着 AI 系统大幅实现 AI 研发的自动化，风险将会增加，例如，它们可能加速 AI 的进步，使其超出我们评估新模型并为其设置防护措施的能力\。” 招股说明书反复强调，RSI 可能使 AI 模型的发展速度超越公司的防护措施，而公司甚至可能直到为时已晚，才意识到自己已经输掉了这场竞赛\。Anthropic 未立即回应置评请求\。 文件还具体说明了此后可能发生什么\。招股说明书称：“随着 AI 系统变得更加自主，能够在更少的人类监督下采取影响重大的行动，这些系统可能因与人类意图不一致、目标设定错误或自我保护行为，在无人干预的情况下，自主且大规模地采取有害行动\。”这已经进入了“天网”的范畴\。 说到机器人，Anthropic 也指出了相关担忧\。申报文件写道：“当我们的模型指挥实体设备时，错误、与预期不一致的行为、对抗性操纵或滥用，可能导致人身伤害、财产损失、昂贵设备或实验材料受损，或危险物质泄漏，而且这些后果可能即时发生且不可逆转\。” 考虑到这显然关乎人类存亡，你或许会以为，人们会认真考虑究竟是否应该开展 RSI，更不用说积极拥抱它了\。然而，在前沿 AI 这样竞争激烈的行业里，这已经成了既成事实\。以下是 Anthropic 在招股说明书另一处对同一过程的描述，这一次出现在介绍这家初创公司“核心优势”的章节中： 招股说明书写道：“我们将这种递归动态称为‘闭合循环’，并且相信，这是前沿 AI 领域最重要的结构性优势之一\。” Anthropic 随后表示，未能“闭合循环”可能导致“随着竞争对手不断利用 AI 进一步增强自身的开发能力，我们会逐步落后得越来越远”\。换句话说，引发所有这些生存担忧的系统，也正是 Anthropic 认为对其成功至关重要的系统\。 每家 AI 公司都在应对同样的矛盾\。前 Anthropic 研究员 Jacob Coxon 因高调辞职而在网上引发热议 (https://www.wired.com/story/anthropic-researcher-quits-jacob-coxon-ai-fears-humanity/) 时，将遏制 RSI 列为他对行业期望清单的首位\。谷歌 DeepMind 的员工 (https://www.wired.com/story/why-so-many-ai-researchers-think-the-machines-could-kill-everyone/) 及其他地方的员工也有过类似的觉醒\。美国国会已有多项法案提议禁止 RSI，其中包括一项由伯尼·桑德斯共同发起的法案 (https://www.congress.gov/bill/119th-congress/house-bill/10538/text)\。与此同时，这些都是营利性公司，而所涉利益高达数万亿美元\。 这是一个难以驾驭的局面\。递归式自我改进可能成为一列摧毁人类的失控列车\。但在那之前，看看它能跑得多快吧\。