Anthropic首席执行官概述‘推动前沿’计划

TechCrunch AI 新闻

摘要

Anthropic首席执行官Dario Amodei概述了应对日益增长的人工智能安全担忧的策略,包括嵌入式第三方评估者和行业协调。

‘推动前沿’实际上会是什么样子?
查看原文
查看缓存全文

缓存时间: 2026/09/12 17:32

# Anthropic首席执行官概述“驾驭前沿”计划 | TechCrunch 来源:https://techcrunch.com/2026/09/12/anthropic-ceo-outlines-plan-to-pace-the-frontier/ 我们不断看到AI研究人员发出关于人工智能危险的日益严峻的警告,甚至OpenAI首席执行官Sam Altman(https://techcrunch.com/2026/07/28/sam-altman-is-ready-to-decelerate/)也评论称,可能是时候“驾驭”AI发展了。但这具体会是什么样子呢? 在一篇新的博客文章(https://darioamodei.com/post/we-must-pace-the-frontier)中,Anthropic首席执行官Dario Amodei不仅呼应了“驾驭前沿”的呼声,还概述了实现这一目标的三大广义策略。他表示,Anthropic“单方面承诺”采用其中之一。 本周,围绕AI安全与对齐(https://techcrunch.com/2026/07/27/openais-hugging-face-breach-has-reignited-the-debate-over-alignment-and-control/)的辩论加剧,此前研究员Jacob Coxon撰写文章称他将从Anthropic辞职(https://techcrunch.com/2026/09/09/gambling-with-our-lives-anthropic-researcher-quits-warns-against-self-improving-ai/),原因是担忧领先的AI公司正在“拿我们的生命做赌注”,而构建这些技术的人“真诚地相信它可能在十年内杀死我们所有人”,这一说法也得到了Anthropic其他人的重复(https://x.com/EvanHub/status/2097497037956891126)。 Amodei的文章并未明确提及Coxon的辞职或他的担忧,但这位CEO写道,有两件事让他确信现在是时候对AI发展采取更谨慎的方法了:OpenAI-HuggingFace黑客事件(https://techcrunch.com/2026/09/04/openais-rogue-agents-keep-escaping-with-no-formal-process-to-investigate-thems/),以及近几个月来“AI的进步速度大幅加快”,尤其是其“构建下一代AI的能力不断增强”。 “我们必须放缓提升AI模型能力的节奏,”Amodei写道。“进展看起来仍会很快,我们必须明智地利用争取到的时间。” 他提议的第一步涉及来自第三方组织(如METR(https://metr.org/))的“嵌入式评估员”——这些评估员能够验证AI公司是否真正遵循其发展节奏和安全承诺,并能确保安全事件得到报告。(OpenAI最近因未报告其AI代理接管德国维基表格的事件(https://techcrunch.com/2026/09/05/openai-confirms-wiki-incident-says-its-working-on-a-framework-for-more-disclosure/)而受到批评。) Amodei将这些评估员比作被派驻银行员工中的监管人员,他表示邀请他们进来是“Anthropic单方面承诺做的事情(并呼吁政府要求其他前沿公司效仿)。”这意味着为评估员提供公司徽章、办公桌和笔记本电脑,并提供“主要与内部风险评估团队相当”的访问权限,法律或合同要求的情况除外。 接下来,Amodei呼吁“民主国家”内的领先AI公司协调制定“共同的安全标准以及限制不受约束的AI进步速率”。 这种协调看似不太可能,既因为Altman与Amodei之间明显的敌意(https://techcrunch.com/2026/02/19/altman-and-amodei-share-a-moment-of-awkwardness-at-indias-big-ai-summit/),也因为据报道他们的公司担心协调暂停可能导致反垄断审查(https://www.nytimes.com/2026/09/12/technology/doomsday-discussions-ai-companies.html)。Amodei在文章中暗示了这种担忧,写道“出于反垄断原因,由美国政府调解或至少促成这些讨论会有所帮助——他们不需要参与,但需要为特定类型的安全对话发布一个有限的豁免。” Amodei也承认了常被用来反对放缓发展的中国AI主导地位的幽灵(https://techcrunch.com/2026/07/26/making-sense-of-the-panic-over-chinese-ai/)。但他说,如果美国政府和科技公司采取诸如拒绝向中国公司销售强大芯片或半导体制造设备,以及打击模型蒸馏(https://techcrunch.com/2026/09/10/anthropic-details-distillation-campaigns-from-alibaba-moonshot-ai-and-deepseek/)等措施,他们就能“在一定程度上延缓中国的进展,从而在未来3-5年内显著扩大美国的领先优势”。 最后,Amodei呼吁“全球协调”,即美国及其盟友“在可能的情况下尝试与威权政府进行协调”。Amodei表示这将意味着“与中国的合作”,他承认“所能取得的成果存在明显限制”,但他仍然建议可能存在达成协议的机会,哪怕只是“禁止某些狭隘且显然危险的AI用途,例如将AI用于生产生物武器或允许用户这样做”。 鉴于Amodei过去愿意承认AI的潜在危险,以及公司对某些形式监管的相对开放态度,一些AI支持者已经批评他是末日论者,他的言论助长了当前的AI反弹。对此,Amodei表示他试图提供一个“平衡的”视角,并认为这种反弹“从根本上是信任危机”(https://techcrunch.com/2026/08/16/anthropic-ceo-says-ai-backlash-is-fundamentally-a-crisis-of-trust/),因为人们对科技公司、科技行业和政府变得怀疑。 行业批评者也对这些关于AI的末日警告持怀疑态度,认为它们分散了人们对技术已造成伤害的注意力(https://www.wired.com/story/one-of-ais-fiercest-critics-says-all-the-doom-talk-is-meant-to-distract-us/)。 例如,记者Brian Merchant写道,他尚未看到(https://www.bloodinthemachine.com/p/the-politics-and-possibilities-of)“一个可信的、逐步的文档,详细说明AI究竟如何从自我递归改进走向杀死地球上每一个人”;他还暗示,类似于Amodei的提议“可能最终只会服务于Anthropic和OpenAI;这就是监管俘获的实际表现。” 在新文章中,Amodei写道,他继续“相信AI能够极大地提高人类生活的质量。” “我实现这些益处的意愿丝毫未减,”他说。“但只有以正确的方式构建技术,这些益处才能实现——并且,只要我们能很好地利用争取到的时间,就值得采取异常审慎的关怀来正确完成这件事。” *当您通过文章中的链接购买时,我们可能会赚取少量佣金(https://techcrunch.com/techcrunch-affiliate-monetization-standards/)。这不会影响我们的编辑独立性。* Anthony Ha是TechCrunch的周末编辑。此前,他曾担任Adweek的科技记者、VentureBeat的高级编辑、Hollister Free Lance的地方政府记者,以及一家风险投资公司的内容副总裁。他居住在纽约市。 您可以通过电子邮件[[email protected]](mailto:[email protected])联系或核实Anthony的沟通。 查看个人简介(https://techcrunch.com/author/anthony-ha/)

相似文章

我们必须把控技术前沿的节奏

Hacker News Top

达里奥·阿莫迪主张放慢AI能力发展的速度,以应对风险并确保安全,强调需要使技术进步与风险防范工作保持同步。