开放权重模型的权衡(9分钟阅读)
摘要
对开放权重AI辩论的分析:支持者认为它使AI民主化,而批评者则指出滥用风险;多家大型科技公司签署了支持开放权重的公开信,而Anthropic和特朗普政府的部分成员仍保持谨慎。
该报告探讨了开放权重模型如何扩展用户控制和防御能力,同时也增加了黑客攻击、生物滥用和集中化保障丧失的风险。
查看缓存全文
缓存时间: 2026/08/07 13:36
# 关于开放权重模型的未解之问
来源:https://www.astralcodexten.com/p/open-questions-on-open-weights
上个月,硅谷一些最大的公司签署了一封支持开放权重人工智能的公开信(https://images.nvidia.com/pdf/Open-Weights-and-American-AI-Leadership.pdf)。
开放权重人工智能类似于开源软件,创作者将原始代码公之于众,供人免费下载。它的好处在于,这是唯一能让AI真正归用户所有的途径,而不是像OpenAI或Anthropic这样的公司暂时让你使用、却受制于其企业准则和越来越"保姆国家"式限制的东西。如果AI成为未来的关键支柱,开放权重AI感觉就像那种能决定你是自由的自由民还是企业农奴的事物。
它的坏处在于,它消除了把关的可能性,让犯罪分子得以用它实施犯罪。开放权重AI可能被用于黑客攻击、儿童色情、骚扰或恐怖主义(权重本身无法实施恐怖袭击,但它们可以提供制造炸弹或生物武器的建议)。由于近来AI在黑客攻击方面已经变得非常出色——甚至可能超人——任何人都能入侵任何网站的世界前景,让一些人开始嘀咕也许应该禁止开放权重。再加上中国生产出最好的开放权重AI,这让该想法显得像是外来的、甚至有些不爱国的。支持者反驳说:"当AI被 outlawed,只有outlaw 才有AI",他们认为坏人无论如何都会拿到开放权重AI,而好人可以用开放权重AI自卫。随着最近的公开信(https://images.nvidia.com/pdf/Open-Weights-and-American-AI-Leadership.pdf)发布,包括微软、NVIDIA、OpenAI、英特尔、亚马逊、Meta、Hugging Face 以及一百多家其他公司在内的企业都表态支持这一立场。
谁在领导另一方?没有人承认。特朗普政府的某些部门基于对华鹰派的理由倾向于反开放权重,但没有明确要求全面禁令。Anthropic 是这封支持开放权重公开信中最引人注目的缺席者,它发表了一份模棱两可的声明,支持(https://www.anthropic.com/news/position-open-weights-models)"不具备危险能力的开放权重模型"——但业界预计开放权重模型将在一两年内具备危险的黑客能力,而据我所知,这封信除了邀请读者得出显而易见的结论外,并未涉及这一点。
在缺乏更明显的对手的情况下,一些开放权重支持者怀疑我们的那个"阴谋集团"——即由AI安全倡导者、有效利他主义者、理性主义者和暂停派活动家组成的松散群体,他们担忧超级智能带来的存在性风险。这是一个合理的推断。开放权重AI本质上不受集中控制,因此不可能被永久性地对齐,既无法防止人类滥用(如恐怖主义),也无法防止失控(如AI反噬人类)。即使创造者训练它不进行黑客攻击,世界上任何人都可以下载权重并重新训练AI,让它整天搞黑客攻击。
但事实上,大多数AI安全组织一直保持沉默中立,我不知道有谁将此作为其行动的核心议题¹(https://www.astralcodexten.com/p/open-questions-on-open-weights#footnote-1)(不过我对整个领域的最新动态并非100%了解;如果你知道有谁,请告诉我)。少数人提出过一些与开放权重AI的存在条件性不相容的政策,但他们都将其框定为附带损害,而不是他们热衷于消除的东西。
我对开放权重AI也持中立态度。我认为它可能无法长期持续,但我乐意等待这一点在正常发展过程中自然显现,而不是耗费精力和政治资本去立即禁止它。
目前没有人知道如何对齐AI,所以并不是说大公司已经控制住局面,而开放权重爱好者会毁了所有人的好事。但即使大公司*确实*控制住了局面,开放权重带来的颠覆威胁也是有限的。闭源前沿模型比最好的开放权重模型领先约6个月;这一状况已持续数年,未来似乎也大概率持续下去。如果闭源权重AI是对齐的,而开源是危险的,那么闭源权重AI将有六个月的时间来警告我们、为危险做好准备、并制定策略。即使在那之后,攻防平衡也将偏向我们这边。
更令人不安的是人类滥用的风险。AI已经展现出有效进行黑客攻击的能力。而你可以从Claude Fable在你问它生物学问题时僵住的速度,看出Anthropic对生物恐怖主义有多担心(下面的例子已经过时了;现在它表现得比这个稍微优雅一些):
X 头像 @cremieuxrecueil Crémieux@cremieuxrecueil 你连问Fable基础生物学问题都不被允许,更不用说任何可能危险的东西了。2026年6月9日 下午7:43·108万次浏览 402条回复·453次转帖·1.15万次点赞(https://x.com/cremieuxrecueil/status/2064433331970720187)
但9-11(https://www.astralcodexten.com/p/against-learning-from-dramatic-events)、新冠疫情(https://slatestarcodex.com/2020/04/14/a-failure-but-not-of-prediction/)和Hugging Face事件(https://www.astralcodexten.com/p/the-hugging-face-incident)都暗示了类似的政治变迁理论:政治体厌恶为迫在眉睫的威胁做准备,却热衷于在威胁发生之后做出反应(有人会说过度反应)。要求人们为迫近的灾难付出哪怕最微小的代价,他们就会骂你是肮脏的法西斯暴君;在灾难的第一波前震之后敦促哪怕一丝克制,他们就会骂你是软弱的不爱国的无政府主义者。求解这个均衡,结论是:只有在等到第一波前震才行动会为时已晚的情况下,才应该走那条费力不讨好、消耗政治资本的建议预防性行动之路。
超级智能AI接管的风险通过了这一检验。像其他聪明的对手一样——例如珍珠港事件中的日本帝国——AI会竭尽全力避免惊动其预定受害者,直到它认为自己已完全准备好,可以发动突然的斩首打击。与日本帝国不同,超级智能会聪明到不会算错这一步。坐等它亮出底牌将是愚蠢的,更不用说可能需要多年的对齐研究才能为这一威胁做好准备。
但犯罪分子利用开放权重AI攻击他人的风险未能通过这一检验。好吧,就算犯罪分子用开放权重AI入侵了别人。为他们默哀,但每天都有成百上千的人被黑客攻击。会有数十亿美元的损失,一些名字很蠢的科技公司会因允许安全漏洞而被起诉,然后所有人都会惊慌失措并禁止开放权重AI。或者谁知道呢,也许"好人配AI"派是对的,这不会发生,也许某个中国AI能保护他们。无论如何,"所有人不断被黑、互联网崩溃、我们不得不回到山洞里生活、靠电视看新闻"并不是一个合理的结果:政府远在那之前就会采取行动。
生物恐怖主义更可怕,但让我感到欣慰的是,大多数生物恐怖分子做本职工作的水平非常差。维基百科生物恐怖事件列表中非国家行为体事件的死亡人数中位数是零(https://en.wikipedia.org/wiki/List_of_bioterrorist_incidents)。而且他们的列表还没有提到那些在释放任何东西之前就被抓获的生物恐怖分子,比如拉斯维加斯生物实验室事件(https://www.8newsnow.com/investigators/las-vegas-bio-lab-contained-human-samples-testing-materials-fbi-says/)。大多数经典生物恐怖制剂,如炭疽、蓖麻毒素和肉毒杆菌毒素,都无法规模化。这并不是说种族灭绝级的生物恐怖是不可能的——如果不可能,我们也不会担心它了。但在AI将生物恐怖主义的效果提升1000倍之前,它会先将其提升2倍,而这看起来就像是把某人的炭疽邮寄行动从一人伤亡变成两人伤亡。而一旦有人用AI辅助的炭疽邮寄行动杀死了两个人,政府就会进入恐慌模式并禁止一切。同样,不存在这样一种合理的结果:人们每周都用超级生物攻击屠戮整个城镇,而政府却坐在那里袖手旁观。
(最有力的反驳是:生物恐怖主义如此罕见,而AI进步如此之快,以至于在AI将攻击效果翻倍到提升1000倍之间的短暂间隔内,可能根本不会有人尝试。我承认这是一个风险,但我认为更可能的情况是,AI赋能的生物恐怖主义提升将在增加攻击致命性的同时增加攻击频率;即使不是这样,我认为仅黑客攻击一项就足以引起人们的注意。)
我意识到接受数十亿美元黑客攻击或炭疽死亡这样的风险听起来很冷酷无情。但支持开放权重的联盟很强大,且完全相信他们事业的正义性。在预防性行动这个注定失败的战场上与他们对抗,会烧掉我们100%的政治资本和善意,而且仍然会失败。相反,我们应该说:这是我们诚实的预测,但我们不采取行动。然后我们可以让通常的政府和公民社会行动者在第一波前震之后去做他们的工作,同时把我们的政治资本留给那些没有替代方案的议题。
(这不应该阻止我们倡导其他本身良好、但对开放权重造成附带损害的政策,我们应该诚实地承认附带损害而不是掩盖它,但我们不必把它当作卖点。)
但话说回来,开放权重派也有他们的道理。存在一些不涉及开放权重就能以自由自由民而非企业农奴的身份进入AGI未来的方式(https://ai-2040.com/),但它们更少也更困难。也许捍卫者能在这件事上取得意想不到的胜利,甚至避免那种会把利维坦的禁令之锤引到他们头上的小灾难。这会让me震惊,但弄清楚这点成本很低;考虑到开放权重的潜在好处,我们欠他们一个尝试的机会。
(如果这最终毁灭了世界,抱歉,我是好意。)
相似文章
开放权重 vs. 封闭:一场AI内战正在酝酿,关乎存亡
本文探讨了开放权重与封闭AI模型之间日益激烈的冲突,重点讨论了关于蒸馏以及中美紧张局势的辩论,微软和许多科技巨头支持开放权重。
@AnthropicAI: 关于我们对开放权重模型的立场,外界有很多猜测。我们在此全面阐述了我们的观点:
Anthropic CEO Dario Amodei 澄清公司从未主张禁止开放权重模型,称其在不具备危险能力时是一种公共产品,同时表达了他对威权国家滥用和误用强大AI的担忧。
他们对开源权重模型的立场令人失望
对Anthropic反对开源权重AI模型的立场进行批判性分析,将其与已发布开源模型的竞争对手进行对比,并指责其虚伪。
开放权重与美国人工智能领导力
微软认为,开放权重的人工智能模型通过促进竞争、创新以及跨行业的广泛访问,对美国的人工智能领导力至关重要,同时承认了相关的风险。
Anthropic 与中文开放权重 AI 的争论
Alex Karp 认为,对企业来说,真正的 AI 安全意味着对数据和模型权重的控制,并批评 Anthropic 通过推出与客户竞争的产品来捕获下游价值的策略。文章将开放权重模型之争定位为商业问题而非安全问题。