OpenAI与Anthropic签署公开信，防止AI开发生物武器

# OpenAI 和 Anthropic 签署公开信，呼吁防止人工智能开发生物武器 来源：https://www.wired.com/story/openai-anthropic-letter-ai-biological-weapons/ 数家大型人工智能公司的首席执行官正在敦促美国国会通过新法律，使恶意行为者更难利用其技术开发生物武器。 Google DeepMind 的 Demis Hassabis、OpenAI 的 Sam Altman、Anthropic 的 Dario Amodei 以及 Microsoft AI 的 Mustafa Suleyman 都是联合签署人之一，他们在一封公开发表的公开信（https://screendna.org/）中呼吁立法要求销售合成 DNA 和 RNA 的公司对客户和订单进行筛查，以防止遗传物质被滥用。 这封公开信由无党派组织“进步研究所”和偏右的“美国创新基金会”共同组织。信中承认，鉴于人工智能的发展速度，“历史上曾阻止恶意行为者获取生物武器的知识障碍存在着切实被显著削弱的可能性。” 科学家 Arthur Kornberg 是 20 世纪 50 年代第一个成功合成 DNA 的人。如今，这个过程已经自动化，全球数十家公司使用商业合成仪“打印”并销售用于科学研究、药物开发和诊断的定制基因序列。许多供应商只向合格的研究人员、生物技术公司和教育机构出售产品，但并非所有供应商都会审查客户或他们订购的基因序列。 2017 年，加拿大研究人员发出警报（https://www.wired.com/story/synthetic-biology-vaccines-viruses-horsepox/），他们用价值 10 万美元的邮购 DNA 重建了已经灭绝的马痘病毒。批评者指出，同样的方法可以用来构建天花——一种与之密切相关且致命的病毒。自那以后，基因合成变得更便宜了。 结合人工智能的进步，现在利用大语言模型设计新型有毒物质和病原体已成为可能，尽管从头制造一个有功能的病毒可能仍然需要一定的生物学训练。虽然生物恐怖袭击很少发生，但它们有可能造成大规模伤亡、公众恐慌和经济损失。一个主要的担忧是，人工智能设计的病原体可能有意或无意地引发全球大流行病。 “人工智能工具使用户能够迅速找到在哪里订购不会受到筛查的序列，”斯坦福大学微生物学家与生物安全专家 David Relman 说，他也是这封信的签署人。“如果适当提示，它们还能告诉你如何改变订单的性质，使得即使是那些进行筛查的机构也更难以检测出你想制造的东西。” 其他签署人包括科学家、国家安全专家以及基因合成公司 Twist Bioscience 和 Ansa Biotechnologies 的高管。这些公司是国际基因合成联盟的成员，该联盟成立于 2009 年，旨在实施自愿筛查实践。许多公司已经使用软件来筛查订单中可能增加生物体毒性或致病能力的“关切序列”。 “如果你拥有能够合成 DNA 的技术，那么你应该确保它被负责任地使用，其中一部分就是确保你了解你在制造什么以及为谁制造，”Twist Bioscience 政策与生物安全副总裁 James Diggans 说。该公司多年来一直支持建立正式规则。 拜登政府期间出台的联邦指南（https://aspr.hhs.gov/S3/Pages/OSTP-Framework-for-Nucleic-Acid-Synthesis-Screening.aspx）要求接受联邦资助的科学家和公司从实施订单筛查的供应商那里订购合成基因序列。今年早些时候在参议院提出的一项两党法案（https://www.cotton.senate.gov/news/press-releases/cotton-klobuchar-introduce-bill-to-establish-federal-biotech-security-framework）将要求所有在美国运营的基因合成供应商对订单和客户进行筛查，以识别恶意行为者或危险病原体。 但筛查工具并不完美。去年，微软研究人员发表了一项研究（https://www.science.org/doi/10.1126/science.adu8578），表明人工智能蛋白质设计工具能够生成危险的基因序列，这些序列避开了公司的筛查软件。这些模型建议的新蛋白质序列与已知危险序列的结构相似。 Y Combinator 前总裁、Safe AI Fund 合伙人 Geoff Ralston 认为，拥有生物学模型的人工智能实验室应该自行进行用户筛查。 “让一个模型帮助你做即将危险的事情，应该非常困难——如果并非不可能的话，”同样签署了这封信的 Ralston 说。 Relman 同意，围绕筛查程序的法规只是解决方案的一部分。“鉴于筛查在某些情况下可能会失败，我们必须有其他控制点，”他说。“这就是人工智能公司需要挺身而出的地方。”