为生物学领域的未来AI风险做准备

# 为未来生物学中的AI能力做准备 来源：https://openai.com/index/preparing-for-future-ai-capabilities-in-biology/ 先进的AI模型有能力快速加速科学发现，这是前沿AI模型造福人类的众多方式之一。在生物学领域，这些模型已经在帮助科学家识别哪些新药最有可能在人体试验中成功。不久的将来，它们还可以加速药物发现、设计更好的疫苗、为可持续燃料创造酶，并发现罕见疾病的新治疗方法，从而在医学、公共卫生和环保科学中开启新的可能性。 同时，这些模型也带来了重要的双用途考量：既要推动科学进步，又要维持对有害信息的防护。驱动进步的相同底层能力（如对生物数据的推理、预测化学反应或指导实验室实验）也可能被滥用，帮助专业知识有限的人重现生物威胁，或帮助技能高超的行为体创建生物武器。实验室的物理访问权限和敏感材料仍然是一道屏障，但这些屏障并非绝对的。 根据我们的准备框架，我们预计即将推出的AI模型将在生物学领域达到"高"能力水平，我们正在采取多管齐下的方法来实施缓解措施。本文涵盖以下内容： - 制定负责任的生物能力发展方法 - 与外部领域专家（包括政府机构和国家实验室）合作 - 训练模型安全处理双用途生物请求 - 建立检测、监控和执法系统 - 与专家进行对抗性红队测试我们的缓解措施 - 部署安全控制 - 未来展望 在这种不确定性中，我们需要负责任地行动。这就是为什么我们致力于推进AI在生物医学研究和生物防御等正面用途中的集成，同时关注限制对有害能力的访问。我们的方法专注于预防，我们认为等待生物威胁事件发生后再决定充分的防护级别是不可接受的。 未来将需要更深层次的专家和政府合作来加强更广泛的生态系统，并帮助发现任何单一组织都无法发现的问题。我们在这项工作的每个阶段都咨询了外部专家。早期，我们与生物安全、生物武器和生物恐怖主义的领先专家以及学术研究人员合作，来塑造我们的生物安全威胁模型、能力评估和模型与使用政策。在设计缓解措施时，拥有生物学硕士和博士学位的人类训练者帮助创建和验证我们的评估数据。现在，我们正在积极与领域专家红队合作，在高保真度场景下测试我们的防护措施的效果。 即使我们继续投资于进一步的研究（例如湿实验室提升研究来评估新手在无害代理任务上的成功率），我们也在现在准备和实施缓解措施。我们还继续与包括美国CAISI和英国AISI在内的政府机构密切合作。我们与洛斯阿拉莫斯国家实验室合作，研究AI在湿实验室环境中的作用，并支持推进生物安全工具和评估的外部研究人员。 我们的能力评估（包括系统卡中详细说明的评估）由专家意见提供指导，旨在估计模型何时跨越高门槛。我们认识到这些评估基于难以测试的关于生物武器化路径的假设，无法明确预测现实世界的滥用。但考虑到利害关系，我们希望主动采取相关的准备措施。 在过去两年中，我们追踪了我们的模型在发展过程中的能力，按照准备框架在发布前努力降低风险，并通过系统卡公开分享我们的发现，以便其他人可以跟踪我们的进展。作为此过程的一部分，我们构建了在前沿模型训练期间运行的准备评估，以提供模型能力的早期和定期快照。 我们分享我们是如何做准备的，包括已经实施的措施和未来的计划，同时保留可能帮助不良行为者绕过我们防护措施的敏感细节。 - **训练模型拒绝或安全地响应有害请求：** 历史上，我们一直训练模型拒绝危险请求。我们将继续对明确有害或启用生物武器化的请求这样做。对于双用途请求（如病毒学实验、免疫学、遗传工程等），我们遵循我们模型规范中列述的原则，包括避免提供可操作步骤的响应。我们认为详细的分步说明和湿实验室故障排除指导在不当的手中可能存在风险。我们对大众的默认行为会故意偏向于谨慎，通过训练模型提供支持专家理解的高层次见解，同时扣留足够的细节以防止新手滥用。 - **始终开启的检测系统：** 我们在所有具有前沿模型的产品表面部署了强大的系统级监控器，以检测风险或可疑的生物相关活动。如果根据我们的过滤器看起来不安全，模型响应会被阻止。这还会触发自动化审查系统，必要时启动人工审查。 - **监控和执法检查：** 我们禁止使用我们的产品造成伤害，当我们看到滥用时，我们会执行我们的政策。我们使用相同的先进AI推理能力来检测生物滥用，将自动化系统与人工审查员结合起来监控和执行我们的政策。滥用可能导致账户被暂停。我们认真对待与生物风险相关的滥用，可能会对用户进行进一步调查，在特别严重的情况下，我们可能会通知相关执法部门。您可以在这里阅读更多关于我们的内容审核做法。 - **端到端红队测试：** 我们与多支专家红队合作，这些人试图破坏我们的安全缓解措施。他们的工作是试图绕过我们所有的防御，就像一个有决心和资源充足的对手可能会做的那样。这帮助我们尽早发现漏洞并加强整个系统。生物学领域的红队测试有其自身的挑战。大多数专家红队缺乏生物风险领域的专业知识，可能无法判断模型输出的有害性。生物学中的大多数领域专家没有利用模型漏洞的经验。我们正在与两个群体合作，从风险覆盖到鲁棒性测试系统的不同方面，并将他们配对成队进行最复杂的红队测试。 - **安全控制：** 我们采取深度防御方法来保护我们的模型权重，依赖访问控制、基础设施加固、出口控制和监控的组合。我们利用专门构建的检测和控制来降低高风险模型权重泄露的风险。我们用始终开启的检测和响应、专项威胁情报和内部人员风险计划来补充这些措施，确保新兴威胁被快速识别和阻止。 我们董事会的安全和安全委员会已审查了我们的方法，我们已经在许多当前模型（如o3）中推出了这个端到端缓解计划的初始版本，这些模型在我们的准备框架中仍然低于高能力门槛。通过这个过程，我们利用从部署中获得的经验大幅改进了我们技术系统的性能，并解决了我们人工审查工作流程中的问题。当我们了解更多时，我们将继续进行调整。 虽然我们专注于保护自己的模型，但我们认识到并非所有组织都会采取相同的预防措施，世界可能很快面临更广泛的挑战，即广泛可访问的AI生物能力与日益可用的生命科学合成工具相结合。 我们将在7月举办生物防御峰会，汇聚精选的政府研究人员和非政府组织，探讨双用途风险、分享进展，并探讨我们的前沿模型如何能加速研究。我们的目标是加深与美国及盟国政府的伙伴关系，更好地理解先进AI如何支持尖端生物防御工作（从对策到新型疗法），并加强整个生态系统的协作。 虽然我们的安全工作旨在限制广泛滥用，但我们也在开发政策和内容级协议，以授予经过审核的机构对最有用的模型的访问权限，以便他们可以推进生物科学。这包括开发诊断、对策和新型测试方法的伙伴关系。 在我们与政府的安全工作基础上，我们认为公共和私人部门应合作加强我们社会在AI模型之外的生物防御。这可能包括加强核酸合成筛查（建立在最近的行政令基础上）、更强大的新型病原体早期检测系统、加强基础设施防范生物威胁，以及投资生物安全创新以帮助确保长期应对生物威胁的韧性。 我们还认为AI和生物安全研究中的互补进展将越来越为创始人提供肥沃土壤来建立新的使命驱动的初创公司，这些公司可以利用企业精神来帮助解决这些挑战。安全和保障不仅仅是AI模型和产品的各个方面，它们越来越成为对投资者有利的不可或缺的服务和部门。我们将积极参与加速这一进程。 我们期待与世界各地的政府、研究人员和企业家进行更多合作，不仅要确保生物安全生态系统做好准备，还要利用即将到来的令人惊人的突破。