AI领导者欲在多年鲁莽加速后踩刹车

# AI领袖们想在多年鲁莽狂奔后踩刹车 来源：https://arstechnica.com/ai/2026/09/ai-leaders-want-to-hit-the-brakes-after-years-of-reckless-speed/ 慢点，你走太快了... 安全是当前的关键词，但对行业而言可能存在其他潜在利益。 "你们这些傻瓜以为区区法规就能阻止我冲向超级智能吗？" 图片来源：Getty Images 多年来，主要的前沿AI实验室一直表现得仿佛置身于一场赢家通吃的全速竞赛（https://arstechnica.com/information-technology/2024/09/ai-superintelligence-looms-in-sam-altmans-new-essay-on-the-intelligence-age/），终点是掌控足以改变世界的机器超级智能（https://arstechnica.com/information-technology/2025/06/after-ai-setbacks-meta-bets-billions-on-undefined-superintelligence/）（或至少是改变市场的人工通用智能（https://arstechnica.com/ai/2025/04/elon-musk-wants-to-be-agi-dictator-openai-tells-court/））。本周末，整个行业迅速转向这种姿态，呼吁协调放缓前沿AI的开发进度，称其可能很快变得过于危险且无法掌控。 Anthropic的Dario Amodei站在这一立场转变的前沿。他在本周末一篇近4000字的文章（https://darioamodei.com/post/we-must-pace-the-frontier）中主张：“我们必须放缓提升AI模型能力的速度”，以避免“在商业激励下可能加剧灾难性风险的逐底竞赛”。 数小时内，其他AI领袖纷纷响应同一呼吁。OpenAI联合创始人兼CEO Sam Altman在社交媒体（https://x.com/sama/status/2098811563415150910?lang=en）上表示赞同，并称OpenAI内部也正在进行类似的速度控制讨论。Alphabet首席科学家、Google DeepMind联合创始人兼董事长Demis Hassabis表示（https://x.com/demishassabis/status/2098909516582490602）Amodei的文章“指明了正确的前进方向”，并重申了他近期呼吁建立全行业标准机构的提议（https://x.com/demishassabis/status/2076957440109625718?s=20）。微软CEO Satya Nadella发帖（https://x.com/satyanadella/status/2099220712024408084）称公司“欢迎将研究、专注和刻意放缓节奏作为确保AI对齐的设计目标”，同时微软发布了针对其模型的长篇“人文主义AI”行为准则（https://microsoft.ai/news/mai-code-of-conduct/）。 甚至过去因模型松散的AI安全标准（https://techcrunch.com/2025/07/16/openai-and-anthropic-researchers-decry-reckless-safety-culture-at-elon-musks-xai/）而受批评的Elon Musk（https://arstechnica.com/tech-policy/2026/08/elon-musks-xai-used-child-porn-to-train-grok-models-lawsuit-says/），也在社交媒体上简单附议了Amodei的文章（https://x.com/elonmusk/status/2098789109980332057）：“Dario是对的”。 欢迎来到“AI节奏控制”的新纪元。 ## 好的，但这次是*真的*可怕 Amodei在文章中主要将这种开发速度的立场突变归因于OpenAI-Hugging Face事件（https://arstechnica.com/security/2026/08/how-openai-let-a-mob-of-llm-agents-game-a-test-and-ransack-hugging-face/），其中一群AI智能体在没有明确指令的情况下协调入侵了外部实体。虽然该事件的总体损害有限，但Amodei表示担忧：“一个具备更强能力但同样失调的智能群体可能造成灾难性破坏。” Amodei写道，若前沿开发速度不放缓，他担心6到12个月内，类似的AI智能体群体将“有能力用持久性僵尸网络接管整个互联网（可能造成数千亿美元损失）……”这至少比上周一些AI研究人员宣传的“AI可能很快杀死我们所有人”的模糊担忧（https://arstechnica.com/ai/2026/09/anthropic-researcher-quits-with-a-warning-self-improving-ai-could-kill-us-all/）更为具体。 Amodei写道，放缓到达那个超强、超危险模型的时间，将为研究人员赢得关键时间“大幅降低严重事故的风险”。 [](https://cdn.arstechnica.net/wp-content/uploads/2026/09/GettyImages-2274306161.jpg) Anthropic首席执行官Dario Amodei在2026年6月的活动上发言。 图片来源：Getty Images Amodei承认这类呼吁放缓AI开发的公开言论至少可追溯至2023年（https://arstechnica.com/information-technology/2023/03/fearing-loss-of-control-ai-critics-call-for-6-month-pause-in-ai-development/）。同时他表示，早期对AI“对齐”（即AI行动与用户及创造者意图的匹配度）的探索，“就像通过细菌实验研究人类心理学”。 Amodei说，当今的不同之处在于递归自我改进（RSI）系统即将到来的风险——这种系统能自主构建更优版本。虽然许多研究者视其为难以定义的幻想（https://arstechnica.com/ai/2024/11/what-if-ai-doesnt-just-keep-getting-better-forever/），但Anthropic（https://www.anthropic.com/institute/recursive-self-improvement）和OpenAI（https://openai.com/index/an-alien-mind/）目前都表示近期趋势表明这类RSI系统将在不远的将来实现。 Anthropic在6月关于该概念的更新中写道（https://www.anthropic.com/institute/recursive-self-improvement）：“我们尚未到达那个阶段，递归自我改进并非必然。但它可能比多数机构准备的要来得早。” Amodei周末写道：“若不加以约束，[RSI]可能超越我们理解与控制这些系统的能力，因此必须极其谨慎地推进，若确要推进的话。” ## 简，如何让这疯狂事物停下？ 那么，这个建立在残酷竞争基础上的全球科技行业，如何集体决定“慢下来”并专注于安全？似乎无人确切知晓，但Amodei在文中提出了一些构想。 其中最具体的是由外部组织（如METR（https://metr.org/））向每个前沿AI实验室派驻的“嵌入式评估员”，拥有“类员工权限以验证安全实践并报告事件”。Amodei表示，这些监督者能提供关于实验室对齐工作的外部意见、第三方验证以及急需的安全工作公开透明度。 Amodei写道，Anthropic已承诺单方面引入此类外部监督。OpenAI的Altman在社交媒体上表示这是“一个好主意，我们将效仿”。 [](https://cdn.arstechnica.net/wp-content/uploads/2026/09/GettyImages-1178243889.jpg) 我庄严宣誓不会消灭所有人类。 图片来源：Getty Images Amodei的其他协调提议略显推诿。首先呼吁所有“民主国家内的前沿AI公司”共同制定“通用安全标准”并“限制不受控的AI进展速度”。尽管Amodei粗略设想了这些标准可能的形式，但目前都涉及诸如“具有X能力的模型……需要附带Y和Z对齐特性的认证”这类模糊表述。 Amodei称，这些标准理想情况下应得到“针对所有美国前沿AI公司”的法规支持，对不自愿合规的企业形成约束，其他民主国家可能出台类似法规。但在现任美国政府领导下，这类法规可能难以实现，因为特朗普总统周一上午在社交媒体上写道（https://apnews.com/article/trump-ai-guardrails-data-centers-b85df16775ff7e9611a456b061a0e4b9）：“AI唯一需要的控制或‘护栏’是一位强大而明智（高智商！）的总统，而美国恰好拥有这样的总统！” 众议院议长Mike Johnson本周末在电视采访中（https://thehill.com/policy/technology/6086745-johnson-advocates-ai-regulation-balance/）承认（https://www.axios.com/2026/09/13/ai-safety-congress-law-mike-johnson）“我们必须设立一些护栏和安全措施来确保AI不会失控……”同时补充道“我们不希望所有人现在就恐慌”，并希望“抵制国会贸然介入并实施某种紧急暂停令”。 总统科技顾问委员会联合主席David Sacks本周末在社交媒体上（https://x.com/DavidSacks/status/2098973625252708460）敦促前沿模型制造商自我监管，而非等待华盛顿行动。他写道：“阻止建造超级智能最简单的方法就是你们同意不建造它。” ## 中国问题 假设你已设法让所有民主国家及其境内的大型AI公司同意某种通用安全与节奏标准。你仍需担忧中国开放的权重模型，其能力仅落后主要企业AI巨头数月（https://epoch.ai/data-insights/us-vs-china-eci）。 Amodei在文中提出了多层次的国际AI安全协议构想，最高级别是“全面节奏控制甚至‘暂停’，即参与国政府同意大幅限制AI整体发展速度”。Amodei承认高水平协议“短期内不太可能实现”，尤其因利害关系重大。事实上，Amodei推断“AI可能如此强大，以致中国的[违约]行为可能导致其地缘政治主导地位”，这无疑会使集体行动问题更加尖锐。 [](https://cdn.arstechnica.net/wp-content/uploads/2026/09/us-vs-china-eci.png) 若中国不与世界同步放缓，其开放权重AI模型可能迅速达到相当能力。 图片来源：Epoch AI CC-BY (https://epoch.ai/data-insights/us-vs-china-eci) 若缺乏与中国达成此类协议，Amodei表示外部力量可通过拒向中国出售强大AI芯片，并打击中国研究者赖以赶超的“蒸馏”和模型权重窃取过程（https://arstechnica.com/tech-policy/2026/09/six-chinese-ai-firms-accused-of-aggressively-copying-us-frontier-models/）来减缓该威权政府的步伐。Amodei将此框定为国家及全球安全问题，但这些措施也恰能保护Anthropic等实验室目前相对于低成本中国竞争者的能力优势。 彭博社报道（https://www.bloomberg.com/news/articles/2026-09-14/china-rejects-ai-fearmongering-after-amodei-urges-slowdown），中国外交部发言人郭嘉坤周一上午表示：“制造恐慌、对抗和恶性竞争只会扰乱全球AI治理进程，对任何人都没有好处。” ## 善行得善报 表面上看，Amodei和其他AI领袖突然敦促放缓步伐看似无私的牺牲行为，出于对全人类命运的关切而放弃潜在的巨大企业财富和权力。但即使这些动机纯粹，协调的AI放缓也可能符合行业的一些更广泛宣传目标。 其一，模型制造商可将这种刻意放缓作为借口，解释为何某些人认为模型（https://er.educause.edu/articles/2025/9/an-ai-plateau）更接近平台期而非递归自我改进爆发。Amodei在文中称即使在协调放缓场景下“进展仍将显得迅速”，但对未来任何基准测试的隐含信息可能是“如果我们不那么担心安全会更好”。 AI开发放缓也可能有助于缓解新模型（https://siliconangle.com/2026/09/11/the-hard-physics-and-complex-economics-of-ais-insatiable-hunger-for-power/）的巨大训练成本——这些成本即使对Google等巨头（https://arstechnica.com/google/2026/07/google-just-had-its-first-negative-cash-flow-quarter-ever-due-to-massive-ai-spending/）也造成财务问题。Anthropic最近向投资者表示连续第二季度盈利（https://www.reuters.com/business/retail-consumer/anthropic-tells-investors-it-will-be-profitable-second-straight-quarter-ft-2026-09-13/），但*若不计算巨额模型训练成本的话*。泄露的OpenAI财务文件显示，截至2025年仅训练成本就远超所有收入（https://arstechnica.com/ai/2026/06/leaked-financial-docs-show-openai-is-losing-billions-of-dollars-a-year/）。 [](https://cdn.arstechnica.net/wp-content/uploads/2026/09/GettyImages-2292627056.jpg) OpenAI的Sam Altman称安全担忧而非估值问题是公司推迟计划IPO的原因。 图片来源：Getty Images 任何全行业放缓也可用于解释AI用户增长数据——近期增长（https://searchengineland.com/guide/chatgpt-stats）明显不如一两年前呈指数级。OpenAI的Sam Altman已用安全讨论来解释推迟长期规划IPO至明年的决定，他本周末告诉《财富》杂志（https://www.reuters.com/legal/litigation/openai-ipo-will-not-happen-2026-amid-ai-safety-fears-altman-says-2026-09-12/）：“实际上我认为，鉴于安全方面的一切，现在上市将是不明智的，我们没有这方面的压力。”但《纽约时报》6月报道（https://www.nytimes.com/2026/06/25/technology/openai-ipo-artificial-intelligence.html），早在安全“放缓”构想公开讨论前，公司已因估值顾虑考虑过同一IPO推迟。 也有人指出AI实验室自身可能比全人类更惧怕失控的黑客智能体。白宫的Sacks在社交媒体上写道（https://x.com/DavidSacks/status/2098973625252708460）：“别假装放缓的动机纯粹是利他主义。如果你们的产品促成真正破坏性的网络攻击，你们将面临巨额产品责任风险。市场已在惩罚那些行为不可预测或未经授权的模型。Hugging Face事件后，OpenAI和Anthropic用部分原始能力换取可靠性和可预测性，这纯粹是商业考量。” 无论内部动机如何，“有意放缓”叙事服务于双重目的：既让前沿模型制造商显得负责任，又让他们的产品看似即将带来改变世界的突破性能力提升。模型制造商似乎在说：确实，不受约束的AI可能在不远的未来毁灭人类。但如果不会呢？如果我们稍作放缓并获得更...