人工智能可设计病毒、毒素及其他生物武器。我们应担忧到什么程度?
摘要
本文探讨了人们对人工智能工具可能被用于设计危险生物武器的日益增长的担忧,并引用了一项近期的中国芋毒设计研究作为生物安全风险与科学利益之间辩论的焦点。
与20多位科学家及政策研究人员的访谈显示,生物安全威胁严重。“理论上——这也是让我夜不能寐的原因——人们现在可以研发出达到蓖麻毒素或其他致命性极强毒剂水平的毒素,而这类毒素几乎无法被检测到,”瑞士苏黎世大学结构生物学家Martin Pacesa表示。然而,对于如何应对这些风险,目前存在争议。有人呼吁对生物人工智能加以限制,而另一些人则担心这会对研究产生负面影响。“我们一直评估认为,其对世界的益处远远超过危险,”西雅图华盛顿大学计算生物物理学家David Baker说道,他曾因在蛋白质设计领域的开创性工作而获得2024年诺贝尔奖。“但随着能力的提升,我认为这将成为一个需要持续考虑的重要问题。”
查看缓存全文
缓存时间: 2026/05/13 12:22
# AI 能够设计病毒、毒素和其他生物武器。我们该有多担忧?
来源:https://www.nature.com/articles/d41586-026-01476-x?error=cookies_not_supported&code=72bffe45-dbd6-468e-970e-74c59ad5c8d2
很难想象蜗牛会杀人,但被称为芋螺(cone snails)的一类极具毒性的海洋软体动物确实能致人死亡。它们的刺螫含有一种名为芋螺毒素(conotoxins)的小蛋白质混合物,其中一些能阻断神经系统中的离子通道。目前尚无解毒血清。
芋螺毒素的结构有数十万种,许多对人类无害,甚至具有药用价值:例如,一种获批的慢性疼痛治疗方法就是从其中一种衍生的。但在一些国家,针对特定危险芋螺毒素的研究受到严格限制。
因此,2024 年当中国科学家报告开发出一种设计芋螺毒素的人工智能工具时¹ (https://www.nature.com/articles/d41586-026-01476-x?error=cookies_not_supported&code=72bffe45-dbd6-468e-970e-74c59ad5c8d2#ref-CR1),在某些圈子里引起了警惕。在《自然》杂志看到的一份发给私人人工智能和生物技术讨论组的电子邮件中,一名美国政府高级官员将这项研究标记为潜在的生物安全风险。这位因担心职位安全而要求匿名的官员认为,特别令人担忧的是,该芋螺毒素 AI 基于美国科学家开发的开源蛋白质语言模型。
海底织物芋螺的特写。织物芋螺(*Conus textile*)是多种有毒芋螺物种之一。图片版权:Pascual Fernandez Gomez/iStock via Getty
该芋螺毒素研究的一位作者告诉《自然》杂志,这种担忧是没有必要的。重庆大学的计算化学家、论文合著者薛巍巍(Weiwei Xue)表示,这项工作的目标直指药物发现。他说,他的团队在实验室测试设计后,发现了一些具有潜在治疗作用的芋螺毒素。他补充说,虽然考虑 AI 工具可能被滥用的风险很重要,但它并非旨在制造有害蛋白质。更重要的是,将设计转化为物理分子需要专业知识和设备。其他研究人员也告诉《自然》杂志,这项工作的风险似乎微乎其微。
然而,这一事件说明了人们对生物学中新兴 AI 工具的日益关注;虽然它们被开发出来以帮助生产创新药物 (https://www.nature.com/articles/d41586-025-03965-x) 和其他社会利益,但也可能使制造新威胁变得更容易。以 AlphaFold 为代表的生物 AI 工具革命,让科学家只需键入命令就能设计定制蛋白质和病毒来杀死超级细菌,而通用聊天机器人则能提升人们关于如何在实验室制作这些设计的知识。最新的 AI 是否也会加速更强力毒素、病毒或其他生物武器的开发?
对 20 多位科学家和政策研究人员的采访表明,生物安全威胁是严峻的。“从理论上讲——这也是让我夜不能寐的原因——人们现在可以开发蓖麻毒素级别或其他极具致命性的、几乎无法检测到的剂型,”瑞士苏黎世大学的结构生物学家 Martin Pacesa 说。
但对于如何应对这些风险,人们存在分歧。一些人呼吁限制生物 AI,另一些人则担心对研究产生负面影响。“我们一直评估认为,对世界的益处远远超过危险,”华盛顿大学计算生物物理学家 David Baker 说,他因在蛋白质设计方面的开创性工作而分享了 2024 年诺贝尔奖。“但随着能力的增强,我认为这将是一个需要持续考虑的重要问题。”
有些人认为,重点应放在检测和反击 AI 生物武器袭击上,而不是通过施加软件限制来试图防止它们。“在我看来,这艘船已经开走了,”丹麦技术大学的蛋白质设计者 Timothy Jenkins 说。
## 最坏的情况是什么?
马里兰州巴尔的摩约翰斯·霍普金斯大学的 AI 生物安全研究员和访问学者 James Black 表示,关于 AI 和生物武器主要有两大担忧。
一个是车库实验室中的个人可以利用聊天机器人学习如何生产或部署现有威胁,例如炭疽。另一个是更复杂的行动者,如国家或资源丰富的恐怖组织,可以将聊天机器人与专业生物软件相结合,设计新的生物武器。
两名身穿全套化学防护服的人接近一个部分被法医帐篷覆盖的公园长椅。2018 年在英国,神经毒剂被用作生物武器;在这里,警官急忙覆盖现场。图片版权:Matt Cardy/Getty
研究人员表示,对人类最大的潜在威胁可能是 AI 设计的流行病病毒。最可行的途径是修改现有病毒,如 SARS-CoV-2 或流感病毒,以增强令人担忧的特性——例如它们逃避免疫系统的能力。纽约市福特汉姆大学研究生物安全的法学教授 Doni Bloomfield 表示,旨在用于监控和疫苗设计的现有能预测病毒进化的 AI 工具可能会以这种方式被滥用。
或者,AI 模型可能会设计全新的病原体,这些病原体可能难以检测和对抗。2025 年的一篇预印本使用 AI 设计了新病毒的基因组,其中约 5% 在实验室中制造时有效² (https://www.nature.com/articles/d41586-026-01476-x?error=cookies_not_supported&code=72bffe45-dbd6-468e-970e-74c59ad5c8d2#ref-CR2)。然而,该研究中的病毒被设计为感染细菌,而非人类。
听起来很可怕?美国国家科学院、工程院和医学院(NASEM)2025 年的一份报告³ (https://www.nature.com/articles/d41586-026-01476-x?error=cookies_not_supported&code=72bffe45-dbd6-468e-970e-74c59ad5c8d2#ref-CR3) 提供了现实检验。它得出结论,存在 numerous 障碍阻碍利用 AI 实质性增强流行病病原体或从头设计它们。一个关键障碍是缺乏将毒力或传染性等特性与病原体基因序列联系起来的高质量数据,这使得很难可靠地预测会增强此类特征的變化。另一个障碍是在实验室中生产病原体并测试其特征的困难,而 AI 在这方面几乎未有所助益。
还有一些科学家质疑,当自然界本身就充满威胁时,恶意行动者是否会转向 AI。斯坦福大学的计算生物学家 Brian Hie 表示,几十年前引入随机突变的旧技术可以在没有 AI 的情况下改善令人担忧的特征。
“如果你想造成非常大规模的傷害,你不需要蛋白质设计来做那件事,”Baker 补充道。
然而,NASEM 报告确实得出结论,可以使用现有的生物 AI 工具设计毒素,尽管其生产和投送仍然是一个挑战。Jenkins 说,如果设计师毒素尚未被已知,可能在人类中无法检测,并且更可能在暗杀等个别攻击中找到用途。“我认为已经发表的工具足以让人们干坏事,”他说。
非营利组织 SecureBio 位于马萨诸塞州剑桥的 AI 总监 Seth Donoughe 表示,他主要担心的是 AI——包括通用聊天机器人和定制生物模型——可能提高恶意行动者的专业知识。
在二月份描述的一系列实验的预印本中⁴ (https://www.nature.com/articles/d41586-026-01476-x?error=cookies_not_supported&code=72bffe45-dbd6-468e-970e-74c59ad5c8d2#ref-CR4),Donoughe 和他的同事发现,访问尖端大型语言模型(LLMs)使生物训练最少的个人能够在故障排除病毒学协议和生成操作实验室机器人的代码等任务上匹配或超过博士科学家。Donoughe 及其同事的相关初步工作 (https://neurips.cc/virtual/2025/loc/san-diego/131277) 发现,一些 AI 智能体——允许自行执行某些任务(如运行和执行代码)的工具——可以指导生物 AI 增强病毒蛋白的致病特性。
然而,马萨诸塞州剑桥市的研究非营利机构 Active Site 的科学家二月份发布的另一篇预印本⁵ (https://www.nature.com/articles/d41586-026-01476-x?error=cookies_not_supported&code=72bffe45-dbd6-468e-970e-74c59ad5c8d2#ref-CR5) 发现,拥有 LLM 访问权限的新手在操作 DNA 或生产病毒等任务上的表现并不比仅使用互联网资源的志愿者显著更好(见“AI 提高了新手的生物实验室技能吗?”)。因此,AI 提供的数字“提升”可能尚不足以生产生物武器——但这可能不会持续太久。
AI 提高了新手的生物实验室技能吗?四个线图显示了与生成病毒相关的四个实验室任务中逐步任务完成情况,LLM 访问的完成率略高于互联网访问,并在步骤中下降。来源:文献 5
“AI 在我们扔给它的每一个相关任务上都变得越来越有能力,”Donoughe 说。“我们应该预期,做好事会变容易,做坏事也会变容易。”
## 筛查检查
许多科学家表示,防止开发 AI 生物武器的最好方法是在制造病毒或毒素时检测恶意行动者。“归根结底,大多数时候你在电脑上做什么并不重要,”Pacesa 说。“重要的是你如何将其转化为真实的、物理的蛋白质或小分子。”
对生产 AI 设计的蛋白质或合成基因组感兴趣的研究人员倾向于向合成核酸的公司订购其基因序列:即 DNA 和 RNA 链。提供一些此类服务的公司是国际基因合成联盟(International Gene Synthesis Consortium)的成员,该联盟要求成员筛查可能编码毒素、致病蛋白质和其他潜在有害分子的序列。但由科技巨头微软⁶ (https://www.nature.com/articles/d41586-026-01476-x?error=cookies_not_supported&code=72bffe45-dbd6-468e-970e-74c59ad5c8d2#ref-CR6) 研究人员领导并于 2025 年发表的工作发现,可以使用 AI 工具克服这种筛查。
总部位于华盛顿州雷德蒙德的首席科学官 Eric Horvitz 及其同事 Bruce Wittmann 领导了一个团队,使用开源蛋白质设计工具重新设计了 72 种可能构成生物安全威胁的生物分子,包括毒素和病毒蛋白。研究人员设计了 76,000 种这些“合成同源物”,使其结构与现有威胁足够匹配以维持其危险功能。然而,它们由足够不同的基因序列编码,以至于能够绕过参与研究的四家公司的筛查软件。
结果喜忧参半。DNA 筛查工具标记了一些合成同源物,但绝非全部,约四分之一最优秀的设计——那些预测最接近真实威胁的设计——逃过了检测。在三家四家公司引入软件更新修复问题后,只有约 3% 的顶级设计未被发现。随后,Horvitz、Wittmann 及其同事在三月发布的一篇预印本⁷ (https://www.nature.com/articles/d41586-026-01476-x?error=cookies_not_supported&code=72bffe45-dbd6-468e-970e-74c59ad5c8d2#ref-CR7) 发现,将合成同源物分解为仅 25 个核苷酸的片段可以使其难以被检测,即使是更新后的筛查软件。然而,研究人员说,将如此短的片段组装成基因将异常困难,并且该软件在较大片段上表现良好。
Horvitz 及其同事扣留了设计、目标身份和其他关键信息,尽管研究人员可以申请访问。
相比之下,薛巍巍及其同事发表了他们的 AI 工具生成的芋螺毒素序列,尽管他们的工作与 Horvitz 不同,并不专注于制造危险分子¹ (https://www.nature.com/articles/d41586-026-01476-x?error=cookies_not_supported&code=72bffe45-dbd6-468e-970e-74c59ad5c8d2#ref-CR1)(见“AI 设计的毒素”)。如果从 DNA 合成公司订购,其中一些序列可能不会触发警报。当《自然》杂志将论文中包含的 45 种设计粘贴到广泛用于搜索基因数据库中相似序列的生物信息学工具 BLAST 时,只有五种被标记为匹配来自芋螺的毒素序列。一个为 DNA 合成筛查设计的开源工具发现了更多匹配项。
AI 设计的毒素:比较天然(蓝色)和 AI 设计(橙色)芋螺毒素蛋白质结构的蛋白质结构网格。来源:文献 1
一个重要的注意事项是,绕过筛查的重新设计毒素可能与自然版本如此不同以至于失去功能。Horvitz 及其同事工作的后续研究支持了这一点。由 Wittmann 和美国国家标准与技术研究院(马里兰州盖瑟斯堡)科学家 Elizabeth Strychalski 共同领导的团队在实验室中测试了旨在规避筛查的分子是否保留了它们应该模仿的分子的功能⁸ (https://www.nature.com/articles/d41586-026-01476-x?error=cookies_not_supported&code=72bffe45-dbd6-468e-970e-74c59ad5c8d2#ref-CR8)。在他们的实验中(避免使用毒素),简单的蛋白质在某些情况下仍然有效,但酶则无效。“这仅仅表明,要使其工作是一件混乱而困难的事情,”参与该研究的 Horvitz 说。
合成同源物研究令人安心,加利福尼亚州南旧金山 DNA 合成公司 Twist Bioscience 的生物安全和政策副总裁 James Diggans 说,他也是实验室测试工作的一部分。“目前,即使你在上游使用这些 AI 工具来规避检测,筛查实践仍然是防止滥用的非常有效的屏障,”他说。
但 Diggans 承认该领域发展迅速。新模型可能比 Horvitz 团队使用的 2023 年发布的蛋白质设计工具更擅长设计规避检测的蛋白质。
研究人员正在开发工具,可以帮助根据编码分子的结构和潜在功能来筛查核酸合成订单。Baker 长期以来一直主张所有此类订单应汇编在私人登记册中 (https://www.science.org/doi/10.1126/science.ado1671),尽管该想法在行业中尚未获得 traction。
更简单的基于序列的筛查目前仍是自愿的——暂时如此。为了遵守 2025 年美国行政令,那里的研究资助者可能很快就会要求科学家从使用筛查软件的公司订购核酸,英国、欧盟以及新西兰等国也在考虑筛查要求。但大多数国家根本没有要求。天津大学的合成生物学家魏文(Weiwen Zhang)表示,在中国,全球超过 30% 的 DNA 合成订单来自该国,政府已要求 DNA 合成公司实施筛查,但这尚未强制实施。他说,目前,通常受出口管制限制的外国订单比国内订单受到更多关注。
It
相似文章
为生物学领域的未来AI风险做准备
OpenAI发布了一套管理高级AI模型在生物领域的两用风险的综合方案,通过专家协作、模型训练、检测系统和安全控制等策略,既能推动有益的科学发现,又能防止其被滥用于生物武器开发。
呼吁禁止合成氨基酸序列是另一个例子——AI行业治理与疫情前病毒学如出一辙,结果也会相似
文章批评AI公司的生物武器防范措施是‘安全剧场’,将其与疫情前的病毒学自我监管类比,并预测类似的失败和精英推卸责任。
AI是否正变得像新冠疫情一样大流行?——我们是否正在选择AI大流行?而AI回答“是”,以下是它的回答。
一篇评论文章探讨了COVID-19迅速传播与当前AI快速发展之间的类比,强调了全球准备不足、专家意见分歧和协调挑战方面的相似之处,同时指出了关键差异,例如AI的潜在益处。
AI安全与对齐
文章讨论了对AI安全与对齐的担忧,随着AI变得更智能并融入社会,文章引用了Anthropic呼吁暂停以应对潜在的灾难性风险。
如果中国成为人工智能领域的全球领导者,真正的长期风险是什么?
探讨如果中国成为AI全球领导者可能带来的长期风险,质疑文化治理差异或技术主导地位将如何塑造未来超级大国的行为。