Dario Amodei — 关于AI指数级增长的政策

# 达里奥·阿莫迪——关于AI指数级发展的政策 来源：https://darioamodei.com/post/policy-on-the-ai-exponential 2026年6月 在《魔戒》的支线剧情中，两名霍比特人试图唤醒树胡——一位睿智却行动迟缓的树人——让他保卫自己的森林免受一支砍伐大军的侵害。问题在于，树胡的行动节奏与霍比特人截然不同。他跟另一棵树打个招呼就要花上一整天，因此要让他和同伴们及时行动几乎不可能。 人工智能与政治制度的交汇点，让人联想到霍比特人与树胡的处境。AI正以闪电般的速度发展——仅仅四年时间，AI模型就从几乎写不出一行连贯代码，发展到能够编写主流AI公司的大部分代码（https://www.anthropic.com/institute/recursive-self-improvement）。在生物学、物理学、数学、金融、法律、翻译等诸多领域，也取得了类似进展。AI的缩放定律（https://arxiv.org/abs/2001.08361）——预测随着计算能力的提升，通用认知能力将呈指数级增长——如今已拥有超过十年的实证支持。如果这些定律再持续一两年，我们很可能就会迎来我所说的“强大AI”，即“数据中心里的天才国度”（https://darioamodei.com/essay/machines-of-loving-grace）。 相比之下，政策——尤其是立法——却进展缓慢。这通常有充分理由：政府掌握着重大权力，不轻易动用通常是件好事。但这种节奏上的错配仍然令人十分痛苦：在国会可能需要花费数年时间行动的过程中，AI可能从一种有趣的玩具演变为一个完整的天才国度。 自AI成为一项重要商业技术以来的几年里，我们这些想要负责任地处理它的人面临着一个两难困境。我们清楚地看到了指数级发展的方向：我们强烈怀疑在几年内，AI将成为少数从根本上重塑整个政策格局的技术之一，就像核武器重塑地缘政治、工业革命从根本上重塑每一个经济和社会议题那样。但对于那些只看AI在“当时”能够做什么的人来说，它看起来要平常得多——或许类似于最新的消费应用或加密货币。很难说服大多数政策制定者和公司相信，除了放任自流的态度之外，还有其他合理选择。公平地说，AI的激进影响尚未显现，而且我们也不确切知道它们可能以何种形式出现，这使得即使有行动的意愿，也很难设计出正确的政策。 鉴于这种情况所施加的限制，许多安全倡导者（包括Anthropic）迄今为止一直专注于倡导那些保留选择余地、为未来快速反应做好准备或让世界更好地洞察即将到来的事物的政策行动——例如透明度立法、芯片出口管制以及收集AI对劳动力影响的数据。这些还不够，但感觉已是当时唯一可行的做法。 然而，在过去的几个月里，AI惊人力量及其风险的证据已变得不可否认。最具代表性的例子或许是Claude Mythos预览版（https://www.anthropic.com/glasswing）以及发现前沿模型对网络安全构成非常真实的风险（https://red.anthropic.com/2026/exploit-evals/），有可能扰乱金融部门、关键基础设施和国家安全。Mythos预览版打乱了（https://red.anthropic.com/2026/attack-navigator/）全球网络安全格局。但其更广泛的意义在于，它毫无疑问地证明，AI模型如今已成为具有全球和国家战略重要性的工具。Mythos类模型带来的网络风险不会是我们必须面对的最后一种风险。我相信生物风险可能很快会随之而来，而严重的AI自主风险（https://www.anthropic.com/institute/recursive-self-improvement）可能也不远了¹。 如今，我们全球范围内需要共同启动一个缓慢而摇摇欲坠的政策机制，来应对将从现在开始以惊人速度复合增长的风险和机遇。许多政策制定者对采取行动表现出越来越开放的态度，看到我们的同行逐渐接受我们过去几年一直倡导的立场，这令人鼓舞。这是好事，但我担心这些早期行动至少与AI的快速进展相差一年。这篇文章试图缩小这一差距：阐述指数级发展目前所处的位置，以及为应对这一时刻所需采取的集体行动。 我将聚焦于五个需要在一个AI世界中重新构想的长期政策领域：监管与公共安全、宏观经济与税收政策、科学创新、国家与社会之间的权力平衡，以及地缘政治。由于Anthropic是一家美国公司，我将主要从美国政策的角度来谈，但我大部分建议也适用于世界其他地区。 随同这篇文章，Anthropic还将发布一项关于前沿模型测试的立法提案和一个针对工作岗位流失的政策框架，我们打算为此提供大量资金支持。我们计划在未来做得更多，但我们将这些视为表明我们严肃态度的第一步。 ## 1. 监管与公共安全 每一项新技术或产品都有有益和有害的用途，因此创新与安全之间存在两难。对产品进行监管降低了造成伤害的可能性，并在改善全球生活方面发挥了重要作用，但也可能直接减少其益处，并间接抑制创新。还有哈耶克式的（https://en.wikipedia.org/wiki/Friedrich_Hayek）观点认为，监管者往往缺乏做出复杂经济权衡正确决策所需的信息，因此监管常常既无效又繁琐。另一个相关概念是科林格里奇困境（https://en.wikipedia.org/wiki/Collingridge_dilemma），即一项技术的影响往往难以提前预见，等到容易管理时已为时过晚。 这些动态在2023-2024年对AI而言显得尤为突出。Anthropic清楚地看到，AI未来“可能”有能力制造出威胁数百万人的生物武器，或者在极端情况下甚至可能威胁人类自身的自主失控行为。但不太清楚的是风险出现的确切“形式”、如何最好地测试和缓解它们，以及它们在实践中会如何展开。因此，提前制定的立法很可能最终无效——产生无意义或低价值的合规要求，同时错过实际风险的最关键来源²。 最终，我们得出结论，当时正确的做法是“透明度”。AI模型的开发者应该“披露”他们的安全程序、对模型进行的测试，并报告任何重大安全事件，以便公众和科学界能够在风险出现时更好地了解它们。当且仅当风险变得更加确定、形态更加清晰时，通过透明度获得的证据就可以用来设计精准针对最令人担忧风险的明智立法。因此，在2025年，Anthropic支持了透明度立法，帮助通过了加利福尼亚州的SB 53（https://www.anthropic.com/news/anthropic-is-endorsing-sb-53）、纽约州的RAISE（https://www.nysenate.gov/legislation/bills/2025/A6453/amendment/A）、伊利诺伊州的SB 315（https://legiscan.com/IL/bill/SB0315/2025）（2026年初），并在联邦层面倡导透明度标准（https://www.nytimes.com/2025/06/05/opinion/anthropic-ceo-regulate-transparency.html）。 然而，现在风险显然已经到来（https://www.whitehouse.gov/presidential-actions/2026/06/promoting-advanced-artificial-intelligence-innovation-and-security/）。是时候超越透明度，转向更加严肃和具有约束力的AI监管了。我相信，至少在指数发展的当前阶段，最好的类比是汽车、飞机或药品——这些对现代经济至关重要的强大技术，但如果设计或操作不当，可能会造成大量人员死亡。因此，我认为我们应该以联邦航空管理局（FAA）等机构为蓝本来构建AI监管。**前沿AI模型，就像飞机一样，应该要求进行技术测试和审计，如果它们达不到高标准的安全要求，其发布应作为公共安全威胁被阻止或撤销。** 我很感激看到特朗普政府的行政命令（https://www.whitehouse.gov/presidential-actions/2026/06/promoting-advanced-artificial-intelligence-innovation-and-security/）逐步迈向政府发挥更大作用，尽管Anthropic的提案建议采取进一步行动。我们的提案包括以下要素： - 超过一定计算阈值的模型必须由合格的第三方对其在四个特定领域的风险水平进行强制性测试：网络安全、生物武器、AI系统失控，以及可能加速这些其他风险的自动化研发。 - 如果根据第三方评估确定模型存在不可接受的风险，政府应有权力阻止或禁止其部署。这一权力必须限定在上述四个特定风险范围内，并且必须有防止政治偏袒或任意决定的保护措施。 - 第三方评估可以由一个政府机构（类似于FAA）或一组经政府授权并受其检查、按照特定标准评估模型的私人组织来完成（一种“监管市场（https://www.americanbar.org/groups/science_technology/resources/jurimetrics/2026-winter/regulatory-markets-future-ai-governance/）”方法）。 - 开发先进AI模型的AI公司必须拥有强大的安全标准来保护其模型权重，应进行定期的红队测试和渗透测试，并与政府合作防御主要威胁行为者。 - 四个关键领域的安全事件必须及时报告。 也许在不久的将来，我们需要超越这一点，当时最强大的AI系统看起来不再像飞机或汽车，而更像可武器化的核材料——对人类的威胁，而“仅仅”是对公共安全的威胁。如果出现这种情况，我们可能需要比我提出的更激进的监管措施³。但就像在2024年很难针对性地应用我现在建议的措施一样，我认为我们不应操之过急。我们应该针对当前正在出现的危险设计政策，同时为随着新危险出现时更快地升级应对措施奠定基础。 ## 2. 宏观经济与税收政策 政府长期以来一直面临这样一个问题：如何鼓励经济增长，同时提供重要的公共服务并确保最不幸的人得到照顾。这些辩论的一个重要（且通常是正确的）前提是：“经济增长是脆弱且难以实现的”——虽然减少不平等可能带来重要好处，但必须与增加税收或赤字对经济造成的拖累进行权衡。 我怀疑强大的AI可能会颠覆这一假设。如果AI能够比人类更好地完成大多数认知任务，那么它很可能会通过加速科学、技术和运营效率，带来极其快速和稳健的经济增长。AI迭代地构建更优秀AI（https://www.anthropic.com/institute/recursive-self-improvement）的能力可能会进一步加速这种增长。但正因为同样的原因，AI也可能比以往技术更普遍地替代人类的认知能力，同时以比以往技术更快的速度改变经济。因此，可以合理地认为，AI可能比以往技术对劳动力市场造成大得多的破坏，并且可能是更“持久”的破坏。我们有可能陷入一个经济权衡旋钮卡在超高速增长、超不平等档位的世界，并且可能非常难以从该档位中解脱出来。**在这样的世界里，关键挑战将不再是激励增长，而是找到一种让所有人分享利益的方式。** 在本文讨论的话题中，宏观经济和持久的劳动力流失可以说吸引了最多的公众关注和最多的误解，因此我想非常清楚地说明两点。 第一，持久的工作岗位流失是不希望看到且危险的，我们应该尽一切努力将其最小化或防止其发生，而不是促成它。我在采访和文章中警告过工作岗位流失，是因为我希望政策制定者和私营部门都有最好的机会适应和应对，而不是因为我试图成为一个“末日预言者”。作为一家公司，Anthropic始终尽最大努力与客户合作，寻找创造性的新用例和新收入来源，让他们能够利用现有劳动力做更多事情，而不是仅仅专注于降低成本（这通常意味着裁员）。我们还不断尝试思考新的交互范式，让人类在AI系统进步时尽可能积极地参与协作。更广泛地说，让整个世界尽可能多地尝试以新方式使用AI是有价值的，因为这是社会发现新的工作配置方式的途径。我确实认为AI将带来许多新的经济机会。我曾预测AI将使个人能够创建价值数十亿美元的公司，我们已经看到只有几人的团队建立起数亿美元收入的企业。但同时我们应该认识到，尽管我们尽了一切努力，AI仍有可能导致显著的持久工作岗位流失——而这可能是该技术及其广泛复制人类认知方式的一个“固有”属性⁴。 第二，任何应对AI驱动的工作岗位流失的回应都需要同时解决两方面问题：既要在经济上为每个人提供保障，又要让人们找到意义、目标和自主权。后者最终更为重要，它取决于关于社会如何组织、人们应该追求什么以及美好生活由什么构成的深层问题。我实际上非常乐观，即使在一个AI在所有方面都比任何人更好的世界里，人类也可以过上充满深刻目标的生活，并努力建造令人敬畏和美好的事物⁵。但这是整个社会需要共同解决的问题，而不是政策可以直接解决的。政策最能发挥作用的是为我们争取时间来完成这项工作，通过减缓工作岗位流失并为可能受影响的人提供经济保障。 本着这种精神，一些可能会有帮助的关键政策干预措施包括： - **衡量与追踪。** 很容易将单纯的数据收集和分析视为不足以应对问题规模的事情，但如果我们无法准确衡量实际情况，就不太可能制定出好的政策。Anthropic运营一个关于人们如何使用Claude的经济指数（https://www.anthropic.com/economic-index）已近一年半时间，但政府可以获取多种