2026年的生物防范准备
摘要
本文警告称,当前及未来的人工智能模型显著降低了制造生物武器的门槛,引用了对开放权重模型的蒸馏攻击以及无法防止安全消融的问题。文章呼吁公共资金资助广谱应对措施作为必要回应。
事情是这样的。2026年,AI模型本身还不足以制造生物武器。还没到那一步。Mythos系统卡(第17-36页)描述了确切的问题所在。基本上,问题在于元规划和连贯任务长度。重点是,在Mythos未安全防护的能力级别下,这种级别的模型已经能将制造生物武器所需的专业知识从世界级专家降低到具有相关实验室经验的一般科学博士水平。预计在未来几年内,随着后续模型版本的发布,这一门槛还将进一步降低。你可能已经听说AI CEO们签署了立法,支持改善美国商业DNA合成筛选协议。但商业DNA合成是一个全球性产业。我们的法规不适用于进口产品,而进口产品并未受到相关筛选。你可能也听说OpenAI基金会签署了资助一项推广广谱呼吸道疾病应对措施的倡议。这是应对无法以其他方式对抗的威胁的最佳选择。这些公关努力旨在抢先一步,避免出现类似“模型X被行为者Y用来制造了比新冠严重10倍的最新大流行病”这样的头条新闻。这是一个即将来临的威胁。闭源模型提供商无法阻止它。昨天,Anthropic发布报告称,阿里巴巴(Qwen的开发者)实施了一场蒸馏攻击,其规模超过今年1月他们识别的整个中国蒸馏攻击产业。随着每个新前沿模型的发布,开放权重模型提供商总能找到新的创新方法来执行这些蒸馏攻击,因为他们是意志坚定的行为者。如果一个模型被广泛提供服务,基本上无法阻止这种情况。这是一个重要因素(但不是唯一因素),导致全球模型能力在4-18个月的时间框架内趋于集中。关于开放权重模型,它们可以在一个下午内通过一个简单的命令行提示符,使用Heretic及其同类工具进行安全消融。这些安全消融后的模型有许多合法用途,正如瑞士最高法院最近考虑使用Heretic消融后的模型进行翻译和法律分析,用于处理通常会被闭源模型拒绝的敏感主题。问题是,安全消融后的模型按设计不会拒绝用户请求。这包括诸如如何绕过旨在筛选潜在危险DNA序列的DNA合成协议之类的请求。即使它们拒绝了这些具体请求,大型语言模型整体上正在变得足够好,以至于在某些领域(如病毒学实验室故障排除)超过人类专家的能力。生物实验室帮助具有双重用途,对科学创业者和生物武器制造者都非常有用。要关闭它,你必须先越过有合法用例的人。我们大概还有2到10年时间,直到AI生物实验室帮助能够将制造生物武器的成本门槛降低到数百万流动资金的级别。全球有数万个行为者可以满足数百万流动资金的阈值。这些行为者的意识形态分布大致与普通公众的意识形态分布相似。一个教训是奥姆真理教,该教派曾在日本地铁实施蓖麻毒素攻击,因为他们认为自己在阻止世界末日。他们在高峰时期拥有相关博士学位的工作人员和多达10亿的资金。有了Alphafold、mRNA、CRISPR和前沿AI的帮助,他们的攻击可能会比实际效果严重得多。这看起来很危险,我们他妈的该怎么办?答案是公共出资资助家庭广谱应对措施。为任何想要的家庭提供紫外线灯、HEPA过滤以及其他广谱措施(如弹性呼吸器和丙二醇雾化器)的套件。这能带来什么?成本在数十亿级别。即使低成本生物武器从未出现,这对下一次类似新冠的疫情爆发或严重流感季的防范也是极好的。这是广谱的,能应对一切。先从公共交通、日托中心、学校等高价值场所开始,然后推广到家庭。如何分发?免费家庭套件可在任何当地药店领取,每户每5年一次,并附注册协议:4个弹性呼吸器、廉价消毒剂、一年的HEPA过滤器、即用型紫外线灯泡(附疫情爆发说明)、手套,可能还有一台丙二醇分配器和一些丙二醇。效果如何?乐观估计,大约30%的家庭会接受免费提供。这是文明毁灭性生物武器与我们能在疫情明朗后恢复之间的区别。记住,一旦门槛低到足以让疯子制造生物武器,自然法则不会说他们只会一次性释放一个。两个或更多是可能的,那时医院的应对能力会怎样?美国有100万个鸡蛋的紧急储备用于快速生产疫苗。那我们其他人怎么办?把这些拼图拼起来。广谱预防措施是唯一的机会。这不是推销。今天我庆祝了我儿子三岁生日,如果我们能做一些含糊其辞的责任举措,并且这些举措对我们自己有诸多好处,他的那一代人就不必担心这些破事。
相似文章
为生物学领域的未来AI风险做准备
OpenAI发布了一套管理高级AI模型在生物领域的两用风险的综合方案,通过专家协作、模型训练、检测系统和安全控制等策略,既能推动有益的科学发现,又能防止其被滥用于生物武器开发。
情报时代的生物防御
OpenAI 宣布了一项生物防御行动计划,同时推出 GPT-Rosalind——一款面向生物学与药物发现的前沿推理模型,以及 Rosalind Biodefense 平台,旨在为可信开发者提供 AI 驱动的生物安全与大流行病防范工具。
为大语言模型辅助的生物威胁创建构建早期预警系统
# 为大语言模型辅助的生物威胁创建构建早期预警系统 来源:[https://openai.com/index/building-an-early-warning-system-for-llm-aided-biological-threat-creation/](https://openai.com/index/building-an-early-warning-system-for-llm-aided-biological-threat-creation/) *注:作为我们*[*预防性框架*](https://openai.com/preparedness/)*的一部分,我们正在投资开发改进的AI赋能型安全风险评估方法。我们相信这些努力*
呼吁禁止合成氨基酸序列是另一个例子——AI行业治理与疫情前病毒学如出一辙,结果也会相似
文章批评AI公司的生物武器防范措施是‘安全剧场’,将其与疫情前的病毒学自我监管类比,并预测类似的失败和精英推卸责任。
人工智能可设计病毒、毒素及其他生物武器。我们应担忧到什么程度?
本文探讨了人们对人工智能工具可能被用于设计危险生物武器的日益增长的担忧,并引用了一项近期的中国芋毒设计研究作为生物安全风险与科学利益之间辩论的焦点。