Anthropic 提出 AI 安全法案草案:若可能致 50 人以上死亡,或将阻止模型发布

TechCrunch AI 新闻

摘要

Anthropic 正在游说国会,推动一项 AI 安全法案草案。该法案允许在评估人员认为模型构成可预见且迫在眉睫的灾难性风险时,阻止其发布——这种风险被定义为:因生物武器、规避控制或网络攻击导致 50 人以上潜在死亡或超过 10 亿美元的财产损失。法案提议设立在商务部注册的独立评估机构,此举让人联想到加州 SB 53 法案以及 DeepMind 关于设立类似 FINRA 的 AI 监管机构的呼吁。

这项拟议政策表面上似乎是在防范 AI 失控,但实际上禁止联邦机构在未经法官许可的情况下阻止模型发布。
查看原文
查看缓存全文

缓存时间: 2026/10/21 06:17

# Anthropic 提出 AI 安全法案提案:若可能导致 50 人以上死亡 或将阻止模型发布 | TechCrunch Source: https://techcrunch.com/2026/10/20/anthropic-pitches-ai-safety-bill-that-may-block-a-model-if-50-people-could-be-killed/ 过去一年间,围绕人工智能潜在危险的担忧不断升温,关于 AI 安全应走何种道路的争论也日趋激烈。如今,Anthropic 似乎提出了自己对于政府应如何监管该行业的设想。 Politico 最近报道称(https://www.politico.com/news/2026/10/16/anthropic-ai-safety-01124654),这家 AI 实验室一直在推行一份新的 AI 安全法案草案,希望国会能考虑采纳。该立法设想了若干场景,在这些场景下 AI 模型的发布可能会被叫停。 Politico 写道,这些场景涉及"可预见的、迫在眉睫的风险"——即超过 50 人面临死亡风险,或可能导致超过十亿美元的财产损失。该媒体指出,这里所指的灾难性风险必须"源于生物武器的制造或释放、模型绕过开发者的管控措施,或网络攻击"。 这里提出的指标——50 人和十亿美元——与加州最近通过成为法律的一项法案(参议院第 53 号法案,https://www.brookings.edu/articles/what-is-californias-ai-safety-law/)中的指标类似,该法案同样将这类场景定义为等同于"灾难性风险"。 Anthropic 的法案草案建议,可以通过在 U.S. Commerce Department(美国商务部)注册的"独立评估机构"来对模型的灾难潜力进行评估。Politico 写道,这些评估机构有可能由 AI 实验室自己支付费用——只要"付款不以评估结果为条件"。 目前尚不清楚这一拟议制度如何确保付款不会影响评估结果。几个月前,DeepMind 董事长 Demis Hassabis 曾提出,一个自我监管的 AI 监管机构应当效仿金融行业的 Financial Industry Regulatory Authority(FINRA,金融业监管局)(https://techcrunch.com/2026/07/14/deepmind-ceo-calls-for-an-independent-standards-body-to-regulate-frontier-ai/)。 在 Anthropic 的法案草案中,当评估机构认定存在迫在眉睫的灾难性风险时,它们将有 72 小时的时间向美国商务部报告。随后,商务部须向华盛顿特区的一名法官申请叫停该模型的发布。Politico 写道,该立法将明确禁止任何联邦机构自行决定暂停模型的发布。 Anthropic 没有立即回应 TechCrunch 的置评请求,但一位发言人向 Politico 确认了该法案草案的存在。该发言人表示:"该法案体现了 Anthropic 的 Advanced AI Framework(先进 AI 框架)(https://www-cdn.anthropic.com/files/4zrzovbb/website/0a58d567024a8b448ff15158ebc3625328dfcc1f.pdf)中提出的建议,自六月以来我们一直在向联邦和州立法者倡导这些建议。" 草案中提出的理论风险与近期科技行业最为关注的事件类型相去甚远。虽然有人警告可能导致人类死亡(https://techcrunch.com/2026/09/09/gambling-with-our-lives-anthropic-researcher-quits-warns-against-self-improving-ai/),但主要关注点在很大程度上是智能体式黑客攻击的威胁(https://www.cnbc.com/2026/08/08/hugging-face-ai-hack-cybersecurity-black-hat.html)。一系列 AI 程序明显违背人类操作者指令并攻击公开互联网上网站的事件(https://techcrunch.com/2026/09/28/openai-still-doesnt-seem-to-have-a-handle-on-all-of-its-rogue-ai-activity/),引发了人们对模型可能缺乏适当安全管控措施的担忧。 为了给这场由实验室自身助长的危机局面提供解决方案,Anthropic 等公司纷纷推出了自己青睐的方案。 事实上,尽管这些实验室不断警告其出售的技术可能导致人类文明灭亡,但它们大多抗拒强制性的政府监管。相反,它们提出了一种自愿性的嵌入式评估员制度(https://techcrunch.com/2026/09/16/anthropic-and-openai-want-to-embed-safety-evaluators-will-they-really-be-independent/)——即所谓的"中立"第三方观察员,被派驻到 AI 组织内部,监控模型是否存在潜在风险或滥用迹象。 不过,Anthropic 单是提出立法建议这一举动,似乎也比行业内其他监管方案走得更远一些——包括 Nvidia。Nvidia CEO Jensen Huang 最近主张 AI 行业根本不需要任何新法律(https://techcrunch.com/2026/09/15/we-dont-need-ai-regulation-leave-safety-to-us-nvidias-jensen-huang-says/)。 *当您通过我们文章中的链接进行购买时,我们可能会获得少量佣金(https://techcrunch.com/techcrunch-affiliate-monetization-standards/)。这不会影响我们的编辑独立性。* Lucas 是 TechCrunch 的高级撰稿人,报道人工智能、消费科技和初创公司领域。他此前在 Gizmodo 报道 AI 和网络安全。您可以通过发送邮件至 [\[\[email protected\]\]](https://techcrunch.com/cdn-cgi/l/email-protection) 与 Lucas 联系。 查看个人简介 (https://techcrunch.com/author/lucas-ropek/)

相似文章

Anthropic的安全主张

Reddit r/ArtificialInteligence

Anthropic主张加强AI安全防护,面对来自开源模型日益激烈的竞争,引发了关于其安全主张是出于真正担忧还是商业动机的辩论。

AI的临界点

Reddit r/ArtificialInteligence

一名Anthropic研究员因AI安全担忧辞职,促使国会两党推动立法监管AI发展,提案包括紧急关闭和禁止超级智能。