更新前沿安全框架

# 更新前沿安全框架 来源：https://deepmind.google/blog/updating-the-frontier-safety-framework/ 2025年2月4日 | 责任与安全 我们下一代 FSF 为通往 AGI 之路设定了更强有力的安全协议 AI 是一个强大的工具，正在帮助我们取得新的突破，并在应对当今最大挑战方面取得重大进展，从气候变化到药物发现。但随着其发展的推进，先进的功能可能会带来新的风险。 这就是为什么我们去年推出了前沿安全框架的第一版——一套协议旨在帮助我们预先防范强大的前沿 AI 模型可能带来的严重风险。自那以来，我们与业界、学术界和政府的专家合作，深化了对这些风险的理解，以及测试这些风险的实证评估和我们可以应用的缓解措施。我们还在安全和治理流程中实施了该框架，用于评估前沿模型，如 Gemini 2.0。基于这项工作，我们今天发布了更新后的前沿安全框架。 框架的关键更新包括： - 为我们的关键功能等级(CCL)提供安全等级建议，帮助识别需要投入最大力量防止模型权重泄露的地方 - 实施更一致的程序来应用部署缓解措施 - 概述了业界领先的欺骗性对齐风险应对方法 ## 强化安全的建议 安全缓解措施有助于防止未授权的行为者获取模型权重。这尤为重要，因为访问模型权重可以消除大多数安全防护。考虑到我们面向日益强大的 AI 的前景，如果处理不当，可能对安全和安保造成严重影响。我们最初的框架认识到需要采取分层方法来实现安全，允许实施强度不同的缓解措施，以适应不同的风险。这种相称的方法确保我们在缓解风险与促进访问和创新之间取得恰当的平衡。 此后，我们依据更广泛的研究成果，演进了这些安全缓解级别，并为每个 CCL 推荐了相应的等级。* 这些建议反映了我们的评估，即在前沿 AI 领域应该为此类模型在特定 CCL 处应用的最低适当安全等级。这个映射过程帮助我们隔离出需要最强力缓解措施来遏制最大风险的地方。在实际应用中，由于我们整体的强大安全态势，我们的某些安全实践可能会超过此处推荐的基准级别。 该框架的第二版为机器学习研究与开发(R&D)领域内的 CCL 推荐了特别高的安全等级。我们认为，对于前沿 AI 开发者来说，为未来的场景做好强有力的安全准备将很重要——在这些场景中，他们的模型能够显著加速和/或自动化 AI 开发本身。这是因为这类功能的不受控制的扩散可能会严重挑战社会精心管理 AI 快速发展的能力。 确保尖端 AI 系统的持续安全是全球共同的挑战——也是所有领先开发者的共同责任。重要的是，要想做到这一点，需要进行集体行动：如果不在全行业广泛应用，任何单一参与者的安全缓解措施的社会价值都将大大降低。建立我们认为可能需要的那种安全能力将需要时间——因此，所有前沿 AI 开发者必须共同努力，推进强化的安全措施，加快实现通用行业标准的步伐。 ## 部署缓解措施程序 我们还在框架中概述了部署缓解措施，重点是防止我们部署的系统中关键功能被滥用。我们已更新了部署缓解方法，以对达到滥用风险领域中 CCL 的模型应用更严格的安全缓解流程。 更新后的方法涉及以下步骤：首先，我们通过迭代一套保障措施来准备一组缓解措施。在这样做的同时，我们还将制定一份安全案例，这是一份可评估的论证，说明模型 CCL 相关的严重风险已被降至可接受的水平。适当的企业治理机构随后审查安全案例，只有在得到批准的情况下，才会进行广泛可用的部署。最后，我们在部署后继续审查和更新保障措施和安全案例。我们进行了这一改变，因为我们认为所有关键功能都值得进行这种彻底的缓解流程。 ## 欺骗性对齐风险的应对方法 框架的第一版主要关注滥用风险(即威胁行为者使用已部署或被泄露模型的关键功能来造成伤害的风险)。基于此，我们采取了业界领先的方法来主动应对欺骗性对齐的风险，即自主系统故意破坏人类控制的风险。 最初的应对方法侧重于检测模型何时可能发展出基线工具理性能力，使其在没有安全防护的情况下破坏人类控制。为了缓解这一点，我们探索自动化监测来检测工具理性能力的非法使用。 如果模型达到更强的工具理性水平，我们预期自动化监测在长期内将不足以应对，因此我们正在积极开展——并强烈鼓励——进一步的研究，开发这些场景下的缓解方法。虽然我们尚不清楚此类功能出现的可能性有多大，但我们认为该领域为这种可能性做好准备很重要。 ## 结论 我们将继续随着时间的推移审查和完善框架，以我们的 AI 原则为指导，这些原则进一步阐述了我们对负责任发展的承诺。 作为我们工作的一部分，我们将继续与社会各界的合作伙伴进行协作。例如，如果我们评估一个模型已达到某个 CCL，且对整体公共安全构成未缓解且重大的风险，我们旨在与相关政府机构共享信息，以便促进安全 AI 的发展。此外，最新框架概述了许多潜在的进一步研究领域——我们期待与研究社区、其他公司和政府部门在这些领域进行协作。 我们相信，开放、迭代和协作的方法将有助于建立评估未来 AI 模型安全性的通用标准和最佳实践，同时为人类确保其收益。首尔前沿 AI 安全承诺标志着朝着这一集体努力迈出的重要一步——我们希望我们更新的前沿安全框架能够进一步推动这一进展。当我们展望 AGI 的未来时，做好这一点将意味着要解决非常重要的问题——例如正确的功能阈值和缓解措施——这些问题将需要更广泛的社会，包括政府部门的投入。 FSF 的最新更新由 Lewis Ho、Celine Smith、Claudia van der Salm、Joslyn Barnhart 和 Rohin Shah 在 Allan Dafoe、Anca Dragan、Andy Song、Demis Hassabis、Four Flynn、Jennifer Beroshi、Helen King、Nicklas Lundblad 和 Tom Lue 的领导下开发。我们感谢 Aalok Mehta、Adam Stubblefield、Alex Kaskasoli、Alice Friend、Amy Merrick、Anna Wang、Ben Bariach、Charley Snyder、David Bledin、David Lindner、Dawn Bloxwich、Don Wallace、Eva Lu、Heidi Howard、Iason Gabriel、James Manyika、Joana Iljazi、Kent Walker、Lila Ibrahim、Mary Phuong、Mikel Rodriguez、Peng Ning、Roland S. Zimmermann、Samuel Albanie、Sarah Cogan、Sasha Brown、Seb Farquhar、Sebastien Krier、Shane Legg、Victoria Krakovna、Vijay Bolina、Xerxes Dotiwalla 和 Ziyue Wang 的重要贡献。 **注脚** *关键功能定义——为了识别模型可能具有造成严重伤害潜力的功能，我们研究模型可能在高风险领域造成严重伤害的途径，然后确定模型必须具有的最低功能水平，才能在造成此类伤害中发挥作用。我们将这些称为"关键功能等级"(CCL)，它们指导我们的评估和缓解方法。 ### 介绍前沿安全框架 ### 加强我们的前沿安全框架