来自 @sayashk 和我的“AI作为常规技术”系列最新文章中的八个要点。

AI风险是否需要非同寻常的政府干预？

1. 人们普遍认为，就经济和劳动力市场影响而言，AI迄今是一种“常规”通用技术，但其安全风险是否异常到需要采取非同寻常的政府应对措施，仍存在争论。

2. 在自由民主制中，这些有问题的“非同寻常”政府干预是什么？它们倾向于（1）基于预期危害而非已实现或已证实的危害；（2）将负担强加给并非直接对危害负责的行为者；（3）凭借单方面权力实施，绕开正常治理过程。

3. 自愿承诺和出口管制是相对温和的干预。但我们必须认识到，它们最多能为我们争取几个月的时间。与核不扩散不同，AI缺乏像浓缩铀那样的物理瓶颈。

4. 因此，随着AI能力的持续进步，AI不扩散有可能导致滑坡效应。我们可能很快进入政府控制哪些AI研究和产品可以公开共享的状态。不扩散的倡导者必须明确他们的底线——否则，怀疑论者有理由认为，未来会不断出现要求更威权干预的呼声。

5. 不扩散是脆弱的，因为它依赖于单一的阻塞点。大坝终将决堤——这只是时间问题，而非是否问题。我们更倾向的方法是韧性，它将防御分散到整个社会。

6. 虽然LLM辅助的网络安全漏洞检测能力强大，但这并非我们首次拥有超人类漏洞检测能力！这个漏洞检测能力的样式化谱系（见图）表明，我们很久以前就跨越了那个点。我们在没有对工具施加任何限制的情况下，成功度过了那次转型。如今我们有效利用这些工具进行防御。当然，那次转型并非一帆风顺或毫无痛苦。

7. 针对AI网络安全风险的韧性方法会强调诸如AI辅助的红队测试，不仅适用于科技公司，也适用于目前缺乏防御能力的学校、医院、电网、小型企业和政府系统。

8. 但如果韧性如此有益，为什么我们还没有优先考虑它？问题在于我们不擅长制定常规政策。它需要多中心治理，让众多决策者和谐合作。鉴于美国国家能力因数十年来不断累积的否决点和日益增长的官僚程序主义而受到削弱，这很难实现。因此，行政部门的单方面行动常被视为制定和执行AI政策的出路。

所以我们理解为什么非同寻常的政府干预具有诱惑力。但AI并非最后一个会带来重大风险的数字技术，这也不是最后一轮AI能力提升。让我们的政策行动步入正轨很困难，但很重要——不仅是为了应对当前挑战，也是为了未来所有应对技术所致危害的行动，以及让民主进程更普遍地发挥作用。

全文发表于 @knightcolumbia 网站：https://knightcolumbia.org/blog/do-ai-risks-require-extraordinary-government-intervention…

AI风险是否需要非同寻常的政府干预？

来源：https://knightcolumbia.org/blog/do-ai-risks-require-extraordinary-government-intervention 在最近的一篇文章中，Derek Thompson (https://www.derekthompson.org/p/the-fundamental-question-in-every) 对AI as Normal Technology (https://knightcolumbia.org/content/ai-as-normal-technology)（AINT）展开了讨论。他同意我们关于AI对劳动力市场影响缓慢的论点，依据是GDP增长迄今平均，失业率低于5%，甚至那些看似容易受自动化影响的职位也显示就业和工资上升。他总结说，迄今为止，宏观经济状况与我们预期从“常规”通用技术中看到的情况一致。

但当谈到AI风险时，他则悲观得多。他指出了网络和生物风险的例子，并对AI迅速在许多新领域变得危险表达了悲观。他认为AI的涌现能力使其在本质上不同于以往的技术，这种差异证明了“非同寻常”的政府回应是合理的，包括限制公司可以发布的内容。

在这篇文章中，我们阐述了针对新技术采取非同寻常政府干预的弊端。我们讨论了无需此类干预就能提高韧性的方案。我们还探讨了为何政府迄今不愿投资于韧性。简而言之，韧性要求我们更好地进行常规政策制定过程。但联邦政府的僵化以及将干预措施合理化地施加于AI公司而非整个社会的便利性，使得非同寻常的干预看似有吸引力，尽管存在局限性。

接下来会发生什么？政策制定者要么振作起来，大力投资提升韧性，要么被迫采取更繁重且效果更差的非同寻常行动（例如AI不扩散）。

不扩散是脆弱的，因为它依赖于单一的阻塞点。韧性则将防御分散到整个社会。

AINT论点概述及Thompson的同意与分歧之处

包括Thompson在内的许多人发现“AI作为常规技术”是一个有用的框架，用于思考AI的经济影响，但对我们关于安全的观点并不信服。在AINT文章中，我们对缓慢的劳动力市场影响和对误用风险的韧性提出了不同的论点。

劳动力市场论点 (https://www.normaltech.ai/i/161317202/part-i-the-speed-of-progress) 依赖于扩散速度：从新的AI能力到其经济影响之间存在许多速度限制，包括构建产品、改变组织工作流程以及应对监管的需要。事实证明这有助于理解为何快速和广泛岗位替代的说法（例如Amodei关于即将到来的白领大屠杀 (https://www.axios.com/2025/05/28/ai-jobs-white-collar-unemployment-anthropic) 的说法）不太可能实现，也有助于识别可能阻碍AI有益采用的扩散瓶颈。

但我们关于AI误用风险 (https://www.normaltech.ai/i/161317202/part-iii-risks) 的论点取决于攻防平衡：攻击者还是防御者从特定能力中受益更多，以及我们针对误用风险建立韧性 (https://www.normaltech.ai/i/161317202/the-case-for-resilience) 的能力。值得注意的是，攻击者无需经历缓慢的组织采用过程即可造成伤害。我们主张建立社会韧性来干预误用风险，并确定了许多应采取的减少AI风险的干预措施。

Thompson对此不同意。他不同意的原因之一是，所有通用技术都会带来新的风险，而这些风险很难从以往的模式中推断。但即使在通用技术的历史中，Thompson认为AI似乎特别“异常”，因为其风险具有涌现性，甚至AI开发者也不了解。这证明了政府将AI视为异常技术是合理的，因为它“迫使政府制定非同寻常的法规，防止私营公司销售其产品和服务，理由是它们太危险了。”

Thompson并没有明确定义他所说的“非同寻常的政府行动”究竟指什么，他设想的具体干预措施仍有些模糊。由于我们将对此类干预提出反对意见，我们希望明确我们使用该术语的含义。我们认为非同寻常的干预是一个由三个因素界定的谱系，适用于任何强大技术，而不仅仅是AI。

首先，非同寻常的干预往往具有预防性。它们基于预期危害而非已实现或已证实的危害来限制活动。这并不意味着预防永远不合理，但确实意味着需要更强的理由，因为我们在没有明确证据表明危害会发生（或会完全如我们预测的那样发生）的情况下就限制了活动。即使如此，当存在可行的替代方案可以解决风险且限制性更小时（例如投资于韧性），干预就更显得非同寻常。

其次，非同寻常的干预将限制施加于并非直接对危害负责的行为者的自由。当政府限制AI公司可以发布的内容时，负担落在了可能被滥用的工具构建者身上，而不是造成伤害的恶意行为者。这对于双重用途技术尤其相关。由于这些工具具有广泛的有利应用，对公司施加的限制可能会切断 (https://writing.antonleicht.me/p/cut-off) 公众的有利访问，以防止少数坏行为者的滥用。

第三，非同寻常的干预绕过了正常的治理过程，而是依赖单方面权力，如紧急声明或行政命令，即使被绕过的治理过程存在以确保对自由的限制受到民主问责。

一项干预并不需要满足所有这些标准才算非同寻常。但存在的这些因素越多，证明其合理性的门槛就应该越高。

非同寻常的政府行动代价异常高昂

我们同意AI会带来误用风险。但我们从监管“异常”技术的经验中看到，非同寻常的政府干预可能带来多大负担。核不扩散的强制执行需要IAEA (https://world-nuclear.org/information-library/safety-and-security/non-proliferation/safeguards-to-prevent-nuclear-proliferation)、不扩散条约 (https://www.iaea.org/topics/non-proliferation-treaty)、数十年的外交、持续投资 (https://www.congress.gov/crs-product/R44413) 甚至军事对抗 (https://theconversation.com/military-force-may-have-delayed-irans-nuclear-ambitions-but-history-shows-that-diplomacy-is-the-more-effective-nonproliferation-strategy-259769)。这些干预的代价是巨大的，但这种方法至少在一定程度上是可执行的，因为核武器依赖于浓缩铀——一个真正难以绕过的物理瓶颈。

AI不同于核武器 (https://www.normaltech.ai/i/162585098/nuclear-weapons-as-an-anti-analogy-for-agi)。首先，没有等价的“物理”瓶颈。构建AI系统的核心技术是众所周知的。对手（尤其是国家）可以在数月内赶上前沿能力。任何针对AI的不扩散机制都将面临持续的侵蚀。

面对这一挑战，政府如何维持不扩散？一些提议的干预措施，例如传闻中的关于AI公司预部署评估自愿承诺 (https://www.cnn.com/2026/05/20/tech/ai-executive-order-trump-white-house) 的行政命令，在非同寻常干预的尺度上相对较低。如果做得好，它们可以通过给防御者更多时间准备新能力来倾斜攻防平衡。

美国还实施了芯片出口管制。我们认为这是一种温和的干预：国家经常限制敏感商品出口以保持创新领先，理性的人可以在划定界限上存在分歧。但当涉及防止危险能力被广泛获取时，出口管制效果差得多。开放权重模型和前沿实验室的广泛API访问意味着前沿与公开可用能力之间的差距最多只有几个月，而不是几年。

如果不扩散最多能为我们争取几个月时间，那么紧急优先事项应该是投资于韧性，以便当这些能力不可避免地被广泛获取时我们能更好地准备，如下文所述。另一方面，如果政府试图维持不扩散作为阻止高级AI能力被滥用的手段，他们的干预将必然变得更加苛刻。

要真正执行不扩散，政府需要限制对开放权重模型的访问，甚至限制对有能力的模型的API访问。这将需要许可制度，赋予政府持续权力决定哪些模型可以发布，并对开放权重模型进行限制。我们可能很快进入政府控制哪些AI研究和产品可以公开共享的状态。事实上，我们已经看到了此类控制的令人担忧的例子，例如Anthropic被指定为供应链风险 (https://www.cnbc.com/2026/05/01/pentagon-anthropic-blacklist-mythos-michael.html)，以及近期关于AI公司许可要求 (https://www.csis.org/analysis/ai-licensing-comes-full-circle) 的传闻。

为避免这种滑坡，提出非同寻常干预的人应该明确他们会在哪里划清界限。他们会支持限制开放权重模型吗？要求每个新模型发布都获得批准，或限制前沿AI研究人员跨国流动呢？如果提议者不能明确他们呼吁的界限，那么随着能力进步，要求政府采取单方面行动的能力不断增加是合理的预期。

对于核武器，一旦建立了不扩散制度，就不需要每隔几年重建一次。但AI不是最后一个具有强大双重用途特性的数字技术。新技术会提出类似问题，并可能要求类似或升级的回应。因此，用于监管AI的“异常技术”框架将开始看起来不像是对特定风险的针对性回应，而更像是政府权力对公民和公司可以构建、发布和研究的内容的永久扩张。

我们之前就见过这种辩论。每一项新技术都会提出限制自由以减轻危害是否适当的问题。这段历史告诉我们，我们不应自动默认采取非同寻常的政府干预。

互联网允许人们访问关于如何制造炸弹的信息，1995年俄克拉荷马城爆炸案后，已故参议员Feinstein提出了一项法案 (https://www.rcfp.org/senate-passes-bill-restricting-speech-bomb-making/)，其初稿将把在互联网上传播任何描述炸弹制造材料或过程的信息定为犯罪。（当该法案最终通过时，范围较窄，要求犯罪者通过其指导故意协助犯罪。）

联邦政府还试图限制 (https://www.newamerica.org/insights/doomed-to-repeat-history-lessons-from-the-crypto-wars-of-the-1990s/) 对加密软件的访问，认为这有助于犯罪分子在执法范围之外进行通信。它实施了出口管制，并提议要求加密后门，以便政府始终可以访问私人通信。它甚至启动了刑事调查 (https://www.wired.com/1995/03/the-continuing-investigation-of-phi