人工智能化学生物武器的幽灵:生物技术行业的警钟
摘要
这篇文章探讨了AI领域领导者们关于人工智能可能助推生物武器制造的风险警告,重点介绍了研究人员的关切以及在人工智能与生物技术发展中加强安全防护的必要性。
**AI可能让生物武器的制造变得惊人地简单:** 2022年,研究人员使用一种药物发现AI,在不到六小时内意外生成了40,000种潜在的化学战剂——其中一些比已知的神经毒剂毒性更强。
**现有防护措施存在明显局限:** Anthropic最近证实,用户曾试图利用其模型增强病毒的传播性和危险性,这凸显了防护机制与规避手段之间持续不断的猫鼠游戏。
**科学家们对其严重性意见不一:** 部分生物学家认为,AI工具目前尚不足以完全开发生物武器;而另一些人则警告,有决心的行动者“终将成功”——并敦促现在就开始准备。
---
几周来,一些最大型AI公司的领导人纷纷警告,他们正在研发的这项技术本身就存在危险。上周末,Anthropic首席执行官Dario Amodei指出AI存在<a href="https://darioamodei.com/post/we-must-pace-the-frontier">重大风险</a>,认为发展步伐应当放缓。OpenAI首席执行官Sam Altman<a href="https://x.com/sama/status/2098811563415150910">在X上回应</a>:“我同意Dario的观点,我们需要把握前沿发展的节奏。”
这些言论发布前不久,AI研究员Jacob Coxon宣布离开他在Anthropic的职位,并指责该公司和OpenAI(他曾任职于这两家机构)均未负责任地行动。“构建AI的人真心相信,AI可能在十年内毁灭我们所有人,”<a href="https://x.com/hilbertspaess/status/2097476203863224394">他在X上发帖称</a>。Anthropic的另一位员工Evan Hubinger公开表示赞同。“我们真心相信AI可能消灭所有人类!”<a href="https://x.com/EvanHub/status/2097497037956891126?s=20">他在X上回应</a>,“我个人认为,未来十年内发生的概率超过10%。”
他们担心AI终结人类的方式之一,是可能协助设计、制造和释放某种生物武器。让我们深入探讨其中的原因。
生物武器可能是一种根据基因精准针对特定人群的高致死性病毒。它可能是一种能摧毁作物、引发粮食危机的真菌。亦或是一种无色无味的毒素,能悄无声息地混入某地区的供水系统而不被发现。
令人担忧的是,AI工具可被用于生成此类制剂。2022年,Collaborations Pharmaceuticals的研究人员发现,使用他们开发的AI“分子生成器”(原本用于寻找潜在人类疾病药物)做到这一点异常容易。在不到六小时内,该模型生成了*40,000种*可能用作化学战剂的分子。其中一些甚至比已知的神经毒剂毒性更强。“并非危言耸听,这应为‘AI药物研发’领域的同行敲响警钟,”作者们<a href="https://www.nature.com/articles/s42256-022-00465-9">当时写道</a>。
这对斯坦福大学医学与生物伦理学教授David Magnus而言确实是一个警钟,尽管他自1990年代末就开始评估医学科学和生物技术被滥用的风险。“这让我非常震惊,”他说,“当然,自那以后的一切简直彻底爆发了。”
如今,AI机器人能够回答涵盖所有科学领域的问题。德国汉堡大学生物安全研究员Dunjа Sabra指出,任何人都可以使用基于“地球上几乎所有曾经存在的科学家”的知识和经验训练的大型语言模型。这些模型可以提供实验操作指南和视频教程。
再结合生物技术的进步——基因编辑和合成生物学工具已变得更加普及(<a href="https://www.technologyreview.com/2012/02/14/187917/doing-biotech-in-my-bedroom/?utm_source=the_checkup&utm_medium=email&utm_campaign=the_checkup.unpaid.engagement&utm_content=09-17-26">“DIY生物学”运动</a>已使许多人能在家中建立实验室),这就可能构成一个极其危险的局面。“有决心的人最终成功的可能性很大,”Sabra说。
目前已有防护措施。希望构建新基因组的人<a href="https://www.technologyreview.com/2025/10/02/1124767/microsoft-says-ai-can-create-zero-day-threats-in-biology/?utm_source=the_checkup&utm_medium=email&utm_campaign=the_checkup.unpaid.engagement&utm_content=09-17-26">通常必须从筛查可疑订单的公司订购DNA片段</a>。负责任的研究者会将潜在风险研究送交独立科学家进行名为“红队评估”的多轮分析,以寻找可能被滥用的途径;同时进行“蓝队评估”,由其他人提出潜在的缓解措施。AI公司也调整了其工具,试图阻止其提供可能被滥用的科学信息。但这些保护措施都不是绝对可靠的。
在上周发布的一份<a href="https://www-cdn.anthropic.com/e50be2e51e7695dc4b1366a37a245a597377d3b5/Anthropic-Detecting-and-countering-091026.pdf">报告</a>中,Anthropic承认有人曾试图利用其模型探索增强基孔肯雅病毒传播性的方法、制造对人类更具危险性的禽流感病毒形式,以及构建“毒液毒素肽图谱”等。
“我们一直在进行持续的攻防较量,”Magnus说,“我们需要构建更好的监控和筛查工具,[但]AI非常擅长找到绕过它们的方法。”他表示,我们可能需要利用AI来找到限制AI使用的方法。
在此我必须补充,并非所有科学家都认同风险的程度。在最近的一次媒体简报会上,伦敦帝国理工学院的一些生物学家认为,AI工具还不够完善,无法完全开发生物武器,且测试新病原体需要困难、耗时的人工工作。有人认为我们现有的防护措施已经足够。
帝国理工学院传染病学教授Wendy Barclay指出,就目前而言,大流行的最大风险并非来自生物武器,而是来自已经传播的病原体。以H5N1<a href="https://www.technologyreview.com/2024/11/29/1107552/risk-of-bird-flu-pandemic-rising/?utm_source=the_checkup&utm_medium=email&utm_campaign=the_checkup.unpaid.engagement&utm_content=09-17-26">禽流感病毒</a>为例,它已导致数百万只鸟类死亡,并在美国奶牛中广泛传播;上个月,该病毒还在<a href="https://www.aphis.usda.gov/livestock-poultry-disease/avian/avian-influenza/hpai-detections/mammals?page=1">犹他州一个农场的圈养水貂身上被发现</a>。
另一方面,Sabra倾向于从五到十年的时间跨度来思考。她表示,各国应加强医疗体系,为已知毒素准备解毒剂,并储备药品:“我们需要做好准备。”
麻省理工学院生物学家Kevin Esvelt——他发明了既能加速基因特征在整个人群中传播<em>又能</em>限制该技术的方法——在周三的一篇<a href="https://x.com/kesvelt/status/2100238200207716488">X帖子</a>中呼应了这些担忧,指出一个大型语言模型“披露了一种我未曾意识到可能存在的新型生物武器形式”。
他补充道:“求求你们了,看在上帝、孩子、人类未来的份上,或者无论你们看重什么的份上,”
查看缓存全文
缓存时间: 2026/09/18 14:53
# AI赋能生物武器的幽灵为生物科技敲响警钟
来源:https://www.technologyreview.com/2026/09/18/1144329/the-specter-of-ai-enabled-bioweapons-is-a-wake-up-call-for-biotech
近期,部分顶尖人工智能公司的领导者相继警告,他们所开发的技术本身具有危险性。上周末,Anthropic首席执行官达里奥·阿莫代伊指出,人工智能存在严重风险(https://darioamodei.com/post/we-must-pace-the-frontier),应当放慢发展步伐。OpenAI首席执行官山姆·奥特曼在X平台回应(https://x.com/sama/status/2098811563415150910):"我同意达里奥的观点,我们需要控制前沿技术的发展节奏。"
这些言论发布于AI研究员雅各布·考克斯宣布离开Anthropic职务的几天后,他指控该公司与其曾任职的OpenAI均未负责任地采取行动。"真心相信AI技术的人们认为,本十年末它可能毁灭全人类,"他在X平台发文称(https://x.com/hilbertspaess/status/2097476203863224394)。另一位Anthropic员工埃文·胡宾格公开表示赞同:"我们确实真诚地认为AI可能消灭所有人类!"他在X平台回应道(https://x.com/EvanHub/status/2097497037956891126?s=20):"我个人认为未来十年内发生概率超过10%。"
他们担忧AI终结人类的方式之一,可能是通过某种形式协助设计、制造和释放生物武器。让我们深入探究其原因。
生物武器可能是根据基因特性定向感染的高致命性病毒,也可能是摧毁农作物并引发粮食危机的真菌。亦或是无色无味、可悄然投入区域供水系统的毒素。
业界担忧在于AI工具可被用于生成此类制剂。2022年,协作制药公司的研究人员发现,使用他们开发的用于寻找人类疾病潜在药物的AI"分子生成器"实现这一目标异常简单。不到六小时,该模型生成了*40,000种*可能作为化学战剂的分子。其中部分物质甚至被设计得比已知神经毒剂更具毒性。"无需过度危言耸听,这应成为AI药物研发领域同仁的警钟,"作者当时在《自然》杂志撰文指出(https://www.nature.com/articles/s42256-022-00465-9)。
这对斯坦福大学医学与生物伦理学教授戴维·马格努斯而言*确实*是警钟,尽管自1990年代末他便开始评估医学科技滥用风险。"这让我非常震惊,"他表示,"此后发生的一切更令人不安。"
如今AI机器人可回答涵盖所有科学领域的问题。德国汉堡大学生物安全研究员杜尼亚·萨布拉指出,任何人皆可使用基于"地球上几乎每位科学家知识与经验"训练的大语言模型。这些模型能提供实验操作指导及视频教程。
结合基因编辑与合成生物学工具日益普及的生物技术进展("DIY生物学"运动(https://www.technologyreview.com/2012/02/14/187917/doing-biotech-in-my-bedroom/?utm_source=the_checkup&utm_medium=email&utm_campaign=the_checkup.unpaid.engagement&utm_content=09-17-26)已使众多家庭实验室成为可能),潜在危险局面可能形成。"若有人决心尝试,最终成功的几率很大,"萨布拉指出。
目前存在防护措施。构建新基因组的人员通常需向筛查可疑订单的DNA合成公司订购片段(https://www.technologyreview.com/2025/10/02/1124767/microsoft-says-ai-can-create-zero-day-threats-in-biology/?utm_source=the_checkup&utm_medium=email&utm_campaign=the_checkup.unpaid.engagement&utm_content=09-17-26)。负责任的研究人员会通过"红队测试"(由独立科学家分析研究被滥用的可能性)和"蓝队测试"(其他人制定缓解方案)等多轮评估来处理潜在风险研究。AI公司也调整工具以防止其提供可能被滥用的科学信息。但这些防护措施均非万无一失。
Anthropic上周发布的报告(https://www-cdn.anthropic.com/e50be2e51e7695dc4b1366a37a245a597377d3b5/Anthropic-Detecting-and-countering-091026.pdf)承认,曾有人试图利用其模型探索增强基孔肯雅病毒传播性、制造对人类更具危险性的禽流感变种、构建"毒素多肽图谱"等。
"我们持续处于攻防循环中,"马格努斯指出,"必须构建更优的监测筛查工具,[但]AI极擅长寻找规避方法。"他认为可能需要利用AI来限制AI的滥用。
需补充说明的是,并非所有科学家对风险等级判断一致。近期媒体简报会上,伦敦帝国理工学院部分生物学家认为,AI工具尚不足以完全开发生物武器,且测试新型病原体需要复杂耗时的人工操作。部分学者认为现有防护机制已然足够。
帝国理工学院传染病学教授温迪·巴克利指出,目前最大大流行风险并非来自生物武器,而是已存在的病原体传播。以已导致数百万鸟类死亡并在美国奶牛群中广泛传播的H5N1禽流感病毒(https://www.technologyreview.com/2024/11/29/1107552/risk-of-bird-flu-pandemic-rising/?utm_source=the_checkup&utm_medium=email&utm_campaign=the_checkup.unpaid.engagement&utm_content=09-17-26)为例,上月犹他州某农场圈养水貂也检测出该病毒(https://www.aphis.usda.gov/livestock-poultry-disease/avian/avian-influenza/hpai-detections/mammals?page=1)。
而萨布拉倾向于做五年至十年的远期规划。她表示各国应加强医疗体系建设,研发已知毒素解毒剂并储备药品:"我们必须做好准备。"
MIT生物学家凯文·埃斯韦尔特——其发明的技术既能加速遗传特征在种群中的传播*也可*限制该技术——于周三在X平台发文(https://x.com/kesvelt/status/2100238200207716488)呼应这些担忧,称大语言模型"披露了一种我未曾想到可能存在的新型生物武器形式"。
他补充道:"请为了上帝、孩子、人类未来,或任何您认为神圣之物,在此务必保持审慎。"
*本文最初发表于《检查站》——MIT科技评论的生物技术周刊通讯。欲每周四接收资讯并优先阅读此类文章,**请在此订阅*(https://forms.technologyreview.com/newsletters/biotech-the-checkup/?_ga=2.241810882.15113993.1664981064-43237434.1647441349)。
相似文章
The Download: AI的灭绝风险与生物武器威胁
MIT Technology Review探讨了AI的灭绝风险和AI赋能生物武器的威胁,包括现场活动的问答环节以及关于生物科技安全的讨论。
为什么AI不太可能通过生物武器消灭人类
文章讨论了AI被用于制造生物武器的担忧,但认为由于实际瓶颈和人类监督,风险较低,引用了David Bellamy和Jason Kelly等专家的观点。
人工智能可设计病毒、毒素及其他生物武器。我们应担忧到什么程度?
本文探讨了人们对人工智能工具可能被用于设计危险生物武器的日益增长的担忧,并引用了一项近期的中国芋毒设计研究作为生物安全风险与科学利益之间辩论的焦点。
2026年的生物防范准备
本文警告称,当前及未来的人工智能模型显著降低了制造生物武器的门槛,引用了对开放权重模型的蒸馏攻击以及无法防止安全消融的问题。文章呼吁公共资金资助广谱应对措施作为必要回应。
为生物学领域的未来AI风险做准备
OpenAI发布了一套管理高级AI模型在生物领域的两用风险的综合方案,通过专家协作、模型训练、检测系统和安全控制等策略,既能推动有益的科学发现,又能防止其被滥用于生物武器开发。