谁有权制定AI规则？

# 谁有权为AI制定规则？| Cohere 来源：https://cohere.com/blog/who-gets-to-define-the-rules-for-ai *Cohere联合创始人兼CEO Aidan Gomez的观点* 人工智能正在重塑我们生活的世界。在一代人之内，我们发现药物、管理电网以及保护国家基础设施的方式将被彻底改变。许多人已经意识到这一点，并正努力负责任地构建这个未来。许多人低估了即将到来的变革的规模与速度。然而，有些人声称预见了这种变化，并试图利用它来服务自身利益。 问题在于，没有人足够清晰地提出：**是否应该允许少数几家来自硅谷、占据市场主导地位的AI公司，为整个世界定义这项代际技术的规则与安全标准？** 而与此同时，它们还能决定这项技术的发展速度？我们曾经尝试过类似的做法，结果非常糟糕。这些寡头再次以保护公众为借口，利用恐惧来扭曲竞争规则，并要求被允许为其他人制定条款。这无异于披着羊皮的狼，本质上是一个卡特尔组织。 我坚信AI技术有潜力为我们的世界带来益处，同时我也不低估其风险。我运营着一家公司，其AI系统部署在银行、电信网络和国防部门内部。这些是最高风险的环境，因为这些领域的故障可能带来远超个人用户的影响——会大规模扰乱金融系统、关键基础设施、国家安全和基本服务。同样能在你的代码中发现漏洞的能力，也可能在别人的代码中发现漏洞，而网络攻击的成本正以比防御提升更快的速度下降。这种差距应令你我同样感到忧虑。 **AI需要护栏。这一点从不是争议所在。** 争议在于谁来制定这些规则、谁有资格参与，以及这些规则究竟保护谁的利益。核心问题在于：我们是否应基于科学证据拥有选择的自由，还是应将人类历史上最举足轻重的技术的缰绳，交给少数几位硅谷高管？ ### **我们曾经历过类似局面** 在深入剖析大型实验室推行的自利框架并提出替代方案之前，让我们先从近期历史中汲取教训，并思考“卡特尔”一词的含义（https://x.com/aidangomez/status/2098828132396449939），因为其历史具体且定义准确。 1975年，美国证券交易委员会为其资本规则需要可靠的债券评级。它指定了三家公司为“全国认可统计评级组织”，但从未公布其他公司如何获得该资格的标准。这些是政府背书的外部评估机构，由发行证券的公司付费，而评级对象正是这些公司的证券。它们坐在监管者自己筑起的壁垒之后。二十五年后，这类评估机构仍然只有三家。后来，它们将次级抵押贷款证券评为AAA级，几乎将全球经济拖垮。 1985年，欧洲再次进行了这场实验。汽车制造商游说获得广泛的反垄断豁免，即“机动车块豁免条例”，其理由是现代汽车是复杂的、关系安全的关键机器，因此制造商需要控制谁有资格销售和维修这些汽车。随后的法规允许制造商设定场所、设备和人员培训的标准，明确是为了安全可靠的汽车这一利益。但随之而来的并非更安全的汽车。欧盟委员会花了大约二十五年进行改革才将其废除，并确立了一个本应显而易见的原则：**可以在不给予现有企业垄断权的情况下，维持严格的安全标准。** 在这两个案例中，都没有人一开始就想建立卡特尔。在这两种情况下，宣称的目标都是安全。但结果却是一种保护现有企业、限制竞争的市场结构，这一切都以服务公共利益为由。我不怀疑相关人士的诚意：许多人都关心这些风险，并真诚地努力去解决它们。但复杂的问题并非一次就能解决，任何负责任的科学家、工程师或立法者都知道，要解决新问题，必须从过去的历史中学习。 ### **正在提议什么** 这让我们来到了Anthropic首席执行官Dario Amodei本周发布的路线图，该路线图要求各国政府以安全为由给予反垄断豁免。这份路线图是硅谷现有企业近期一系列塑造AI监管环境努力中的最新一环。 我想明确说明我们同意什么。对高能力AI系统进行独立审查是个好主意，我们支持它。然而，该提案的许多方面都引发了根本性问题：**谁制定审查员适用的标准？谁进行或监督审查？谁有资格参与制定规则的对话？** 在这些问题上，该提案很明确。来自一个国家的少数几家最强大的实验室将就共同标准以及技术应推进的速度限制达成一致。关键点在于：因为竞争对手之间协议限制其产出通常是非法的，该计划要求各国政府给予狭窄的反垄断豁免以使这种协调合法化。它还要求各国政府强制所有其他AI开发者盲目遵循参与者商定的任何内容——即使这些其他开发者和更广泛的社会没有机会表达其影响或分享他们对科学的看法。 这不是再增加一两家公司进入对话的问题。增加一把椅子从根本上无法解决问题。问题在于存在这样一份名单，而做出的决定却影响到每一个公司、每一个政府，以及每一个从未被征询意见的公民。你不能两者兼得。如果这是人类历史上最重要的技术，那么其规则就不能由一小群商业利益一致的公司在反垄断豁免的掩护下制定。这里没有公众评议期。没有磋商，也没有投票。公众将被迫接受结果，无论结果如何。 由少数实验室设计的安全制度，只会针对它们已经建立安全系统来评估的风险才严格，而对其他风险则完全沉默，这将进一步巩固其市场地位并限制竞争。这些现有框架中的风险被定义为规模的函数，这使得拥有巨大系统的公司成为唯一有资格评判的实体。被认定为与评估相关的风险类型也是预先注定的，而非通过科学辩论和共识来确定。例如，该领域确实存在分歧：攻击性能力在多大程度上来源于原始模型大小，又有多大程度上来源于围绕它的封装机制。精心编排的小模型，利用工具和验证步骤，可以做到大型模型做不到的事情。网络蜂群攻击的风险面与单一模型完全不同。这些内容在完全围绕巨大计算阈值构建的制度中完全体现不出来。 文章中有一句话，任何竞争监管机构都会感到不安。它承诺协调方法将使开发者有时间完成这项安全工作，而不牺牲商业优势。但**是谁**的优势？起草该框架的公司正是当今占据市场顶端的公司。一个拖慢所有人步伐，同时明确保护现有商业优势的机制，**并不能**让AI更安全。它有将当今占主导地位的AI公司的当前优势转化为安全竞争基准的风险，从而有固化其地位的风险。安全规则应降低风险，而不应考虑谁主导市场或谁将从规则中获益。 提案中列出的准入要求说明了其余部分：巨大的计算能力、持续监控基础设施、专门的安全组织、拥有办公桌和证件的驻场评估团队、关停架构、足以驾驭这一切的深厚政府关系，以及一个“独立”评估员库——这个库已经非常小，且资金来自反复被同一前沿实验室依赖的同一批组织。 **说服政府AI是一种存在性威胁，你就能说服它取缔你的竞争对手。** 意图很清楚，而这并不会创造一个更安全的世界。 ### **更好的规则是什么样** 那么，什么能实现安全、负责任的AI开发？需要明确的是，我不认为自己拥有所有答案——也不认为我应该有权制定规则。相反，我将尝试提出一些实际有效的想法，供政府和立法者在行使其民主权力以确定发展方向时，与许多其他人的想法一起考虑。 这些想法建立在四大支柱之上： 1. **基于证据的风险框架。** 首先，在任何人强制要求测试或审计之前，我们需要一份共同商定并公开的说明，明确我们关注哪些危害，哪些AI能力在哪些条件和背景下会导致哪些危害，以及政府应在何时介入。这份说明必须由所有开发此技术的国家共同制定，并公开透明，而非在国家安全的旗号下闭门造车。建立一个不由单一国家主导、而是由多国协调的国际努力来开发此框架。让技术专家与政策专家以及金融和关键基础设施等关键行业的专家一同参与。包括相互持不同意见的研究人员和科学家，并将分歧公之于众，因为一个诚实的过程会展示其论点而非宣布其结论。通过公共研究机构和现有的行业风险管理体系来资助测试能力本身，使得科学研究不依赖于被评估公司的预算。制定基于AI系统能做什么而非谁建造它的规则，这样无论危险能力出自价值万亿美元的实验室还是大学院系，都应被同等对待。AI相关风险的科学不能也不应脱离公司和政府关于AI如何使用和部署的决策，也不应脱离当今管理医疗保健、全球金融体系、国防和关键基础设施等关键行业的现有健全风险管理体系。 2. **强制性透明度。** AI开发者应对其模型和系统的构建方式、预期目的和能力、可能带来的风险以及已实施的风险缓解措施保持透明。模型卡已在大规模部署的生成式AI模型中广泛发布，涵盖进行了哪些测试以及模型的表现如何。但还可以做得更多，特别是关于开发和部署栈中的公司如何报告其可见和可控层级上的严重事件，以及在真实损害发生时如何落实真正的问责机制。 3. **基于证据范围的测试。** 最先进的AI模型和系统应接受独立测试，但仅针对风险框架已识别为真正危险的特定能力和情境进行，而非将定义权留给少数几家公司。实践中，这可能意味着能够生成网络攻击、合成欺诈和语音克隆、大规模操纵、物理或生化武器，以及任何涉及关键基础设施的能力。这并不意味着要对每个系统测试每一种风险，也不能成为一种合规练习，蔓延到最大的公司所能吸收的任何预算。一个分级且相称的框架，其中能力更强的模型和系统，或在特定情境下部署的模型或系统，面临更严格的测试——无论投入多少资源用于开发——将最有效地提升安全性。测试那些能危害人类和社会的东西，让证据决定什么需要测试，而非由掌握权柄的人决定。认证必须对每家公司开放，而非仅限于指定层级的AI开发者，标准必须由被评估公司之外的人士商定。这绝不能变成一个昂贵的官僚机构，在小型实验室发布任何成果之前就扼杀它们，而这正是当范围无限且现有企业设定范围时会发生的情况。 4. **真正的保障机制。** 决定AI模型和系统如何测试的参数，以及验证这些测试的机制，必须真正独立，类似于金融机构获得许可、航空公司维持严格安全标准、核设施接受检查的方式。这些高风险行业已经依赖分层保障：开发者测试其系统，客户根据自身风险要求进行验证，独立第三方在必要时提供额外保障，监管机构监督整个框架。AI应建立在这些久经考验的方法之上，而非声称前所未有的例外，并假定安全仅依赖于一类永久驻场的评估员。保障机制在以下三个条件成立时才有效：一、测试和验证基于共同制定和发布的标准；二、任何参与的第三方必须有使命包容一系列不同意见，且绝不能由其审查对象付费；三、发现必须以某种没有利益冲突的方式传达给公众。最重要的是灵活性，即根据审计的关键性以及专业技能和资源的最有效利用，来决定保障工作的哪些方面最好在内部以严格标准完成，哪些需要第三方。这与所提议的方案形成直接对比：一个基于审计员的保障系统，这些审计员不仅与审计对象存在财务或意识形态上的利益冲突，而且是由后者亲自挑选的。建议给予少数主导公司偏好的审计员在全行业持续访问权的建议，是一条通往监管和意识形态俘获的道路，而非安全或信任。 ### **恐慌遗漏了什么** 这些支柱是务实、基于风险方法的基础。现在将其与当前被最大现有企业武器化的科幻场景进行比较。 我认为在这里讨论科学极为重要。聪明人正在做出许多逻辑跳跃和结论。但重要的是，与其挥挥手带过，不如讨论它们是什么，以及这意味着什么。 本周早些时候，一位研究人员离开了一家大型实验室，并大声警告称，超级智能系统很可能在十年内消灭人类。一位资深同事公开附和，称他认为概率高于10%。我不怀疑他们的关切是善意且真诚的。但请记住，这些数字并非来自任何根本性的现实。它们是直觉、感觉，被表达为小数，被有既得利益的高管放大，并被媒体报道了一周，仿佛它们是数学分析。 值得精确界定担忧的究竟是什么：随着这些系统变得越来越强大，我们所能理解的……