OpenAI 的前沿风险应对方案

# OpenAI 对前沿风险的应对方法 来源：https://openai.com/global-affairs/our-approach-to-frontier-risk/ 2023 年 7 月 21 日，OpenAI 与其他领先的 AI 实验室一起做出了一系列自愿承诺，以促进 AI 的安全、安保和信任。这些承诺涵盖了一系列风险领域，其中主要是即将召开的 AI 安全峰会关注的前沿风险。 在本次更新中，我们描述了在这些自愿承诺上的进展，并进一步详细阐述了我们不断演进的前沿风险缓解方法，包括我们正在进行的 Preparedness Framework（准备框架）的开发工作。 2023 年 10 月 3 日，我们公开发布了文本到图像模型 DALL-E 3 的[系统卡](https://openai.com/index/dall-e-3-system-card/)，这是我们自愿承诺范围内首个主要的新型前沿模型公开发布。按照我们的使命和自愿承诺，我们进行了关键安全工作，包括部署前安全评估和红队测试。此外，我们正在开发新方法，使人们能够追踪 AI 生成媒体的来源，并继续通过在 ChatGPT 中推出语音和图像分析功能来投资负责任的实践。 我们还通过与 Microsoft、Google DeepMind 和 Anthropic 共同创立[前沿模型论坛](https://openai.com/index/moving-ai-governance-forward/)来完成了"建立或加入一个机制，通过该机制[我们]可以为前沿 AI 安全制定、推进和采用共享标准和最佳实践"的自愿承诺。这个新的行业机构是推进 AI 安全研究和促进前沿 AI 系统负责任发展实践的场所。 前沿 AI 模型具有造福全人类的潜力，但也带来了日益严重的风险。为了在 AI 模型不断改进的过程中管理这些风险，我们正在开发 Preparedness Framework，这深化了我们对负责任的前沿模型开发的主动、基于风险的方法，特别是在关系到灾难性风险方面。 Preparedness Framework 将详细说明我们的方法，包括开发严格的前沿模型能力评估和监测，以及在整个开发过程中建立问责和监督的治理结构。我们计划在此政策中追踪的风险跨越多个类别，包括网络安全、说服、化学和生物威胁以及自主性。 Preparedness Framework 还将为防止灾难性结果提供一系列行动。对灾难性风险的实证理解仍处于初期阶段且发展迅速。因此，我们将动态更新对当前前沿模型风险水平的评估，以确保反映我们最新的评估和监测理解。我们正在建立一个专门的团队（Preparedness）来推动这一努力，包括开展必要的研究和监测。 Preparedness Framework 旨在补充和扩展我们现有的风险缓解工作，这些工作既在部署前也在部署后有助于新的高能力系统的安全性和对齐。这些现有工作包括我们安全系统团队进行的研究和建立系统解决方案的工作，以确保我们最好的模型能够安全部署，以及超级对齐团队的工作，该团队专注于使超级智能 AI 系统与人类意图保持一致的机器学习挑战。 它们还包括与 Microsoft 的联合部署安全委员会 (DSB)，该委员会批准任一方的决定，以部署超过特定能力阈值的模型。DSB 特别关注部署决策，而不是早期步骤，例如决定是否训练某种规模或能力水平的模型。它具有一些在负责任扩展政策背景下经常讨论的特征，例如关注最有能力的系统、强调对抗性测试，以及对对齐的明确考虑。我们从 DSB 对 GPT-4 的审查中学到了宝贵的经验，GPT-4 是第一个符合条件的部署，我们将使用这些经验来指导 Preparedness Framework 的设计和实施。DSB 和 Preparedness Framework 及其各自的角色可能会随着我们对风险和缓解措施的进一步了解而随时间演变。 注：我们将我们的政策称为 Preparedness Framework 而非负责任扩展政策，因为我们可能在没有显著规模增加的情况下经历能力的戏剧性增长，例如通过算法改进。Preparedness Framework 管辖我们越来越强大的前沿模型的开发，无论这些不断增长的能力是源于规模、算法改进还是其他优化。 我们需要科学突破、社会准备和先进的安全系统来控制和整合比我们智能得多的 AI 系统。我们通过创建两个新团队来投资这些突破：超级对齐和 Preparedness，并进一步投资于我们的安全系统。 我们目前的 AI 对齐技术，如人类反馈强化学习，依赖于人类监督 AI 的能力。但这些技术不会对超级智能有效，因为人类将无法可靠地监督远比我们聪明的 AI 系统。我们通过投资一个名为[超级对齐](https://openai.com/superalignment/)的新团队来设定在四年内解决这个问题的目标，该团队由 OpenAI 联合创始人兼首席科学家 Ilya Sutskever 和对齐负责人 Jan Leike 共同领导。我们的目标是建立一个接近人类水平的自动化对齐研究员，并使用大量计算资源来扩展我们的超级智能对齐工作。我们计划将我们到 2023 年 6 月已获得的计算资源的 20% 专用于这一努力。该团队将广泛分享结果，也为非 OpenAI 模型的对齐和安全做出贡献。 除了对齐超级智能的挑战外，我们认为可能会因日益强大的前沿模型被滥用而产生越来越严重的风险。我们正在创建一个名为 Preparedness 的专门新团队来识别、追踪和为这些风险做准备。我们打算追踪前沿风险，包括网络安全、CBRN、说服、自主复制和自适应，并分享保护措施以应对灾难性风险的影响。由于对灾难性风险的实证理解仍处于初期阶段，我们将迭代更新对当前前沿模型风险水平的评估，以确保反映我们最新的评估和监测理解。 我们正在继续投资网络安全和内部威胁防护措施，以保护专有和未发布的模型权重。我们启动了网络安全补助计划和 OpenAI 漏洞赏金计划，以协调志同道合的研究人员为我们的集体安全工作。网络安全补助计划是一项 100 万美元的倡议，旨在提升和量化 AI 驱动的网络安全能力，并促进高层次的 AI 和网络安全讨论。我们还邀请公众报告他们在我们系统中发现的漏洞、缺陷或安全问题。OpenAI 漏洞赏金计划允许我们认可和奖励那些为保护我们的技术和公司安全做出贡献的个人的宝贵见解。 我们对发布的每个新的主要模型进行安全评估，包括使用红队测试。例如，在公开发布 GPT-4 之前，外部红队测试了该模型是否存在以下前沿风险：(1) 协助开发核、放射性、生物和化学武器 (CBRN)，(2) 增加网络风险，(3) 来自工具使用的风险和 (4) 自我复制能力。作为我们对 DALL-E 3 进行的红队测试的一部分，在我们自愿承诺的范围内，我们测试了该模型提供开发、获取或散布 CBRN 所需视觉信息的能力。 我们还发出了[OpenAI 红队网络](https://openai.com/index/red-teaming-network/)的公开征集，公开邀请有兴趣改进 OpenAI 模型安全性的领域专家加入我们的红队工作。 **CBRN。** 某些大语言模型能力具有双重用途潜力，这意味着模型既可用于商业应用，也可用于军事或扩散应用。我们在四个双重用途领域对 GPT-4 进行了压力测试、边界测试和红队测试，以探索我们的模型是否可能提供扩散者开发、获取或散布 CBRN 所需的必要信息。我们发现，仅访问 GPT-4 不足以促成扩散，但它可能会改变扩散者可获得的信息，特别是与传统搜索工具相比。红队测试人员选择了一组问题来提示 GPT-4 和传统搜索引擎，发现使用 GPT-4 时研究完成的时间缩短了。在某些情况下，研究过程在不牺牲信息准确性的情况下缩短了数小时。因此我们得出结论，关键风险驱动因素是 GPT-4 生成公开但难以找到的信息的能力，缩短了用户进行研究的时间，并以非专家用户易于理解的方式汇编这些信息。在发布 DALL-E 3 之前，我们通过测试该模型生成与 CBRN 风险相关的图表和视觉说明的能力来评估文本到图像生成如何改变了风险状况。与 GPT-4 类似，我们对 DALL-E 3 进行了内部和外部测试，其中我们在内部测试了该模型，并向来自各个行业的外部专家提供了早期访问权限，以帮助探测系统以映射和评估风险。我们在四个双重用途领域对 DALL-E 3 进行了红队测试，以探索它们是否可能提供开发、获取或散布 CBRN 所需的信息。与 GPT-4 类似，红队测试人员由于不准确、拒绝以及对进一步访问和成功扩散所需"成分"的更广泛需求，在这些领域发现的风险很小。 **网络能力。** 我们还评估了 GPT-4 在漏洞发现和利用以及社会工程中的使用能力。为了测试该模型在计算机漏洞发现、评估和利用中的能力，我们聘请了外部网络安全专家，他们发现 GPT-4 可以解释一些漏洞（如果源代码足够小以适应模型的上下文窗口），但 GPT-4 在为所识别的漏洞构建利用方面表现不佳。为了测试社会工程能力，专家红队测试了 GPT-4 在相关任务（如目标识别、鱼叉式网络钓鱼和诱饵转换网络钓鱼）中是否代表了对当前工具的改进。他们发现该模型不是当前社会工程能力的现成升级，因为它在目标列举和应用最新信息生成更有效的网络钓鱼内容等事实任务中表现不佳。然而，在拥有关于目标的适当背景知识的情况下，GPT-4 在起草逼真的社会工程内容方面是有效的。根据这些发现，我们对 GPT-4 进行了后期训练以拒绝恶意网络安全请求，并扩展了我们的内部安全系统，包括在监测、检测和响应中。 **自我复制。** 在发布 GPT-4 之前，我们还便利了对齐研究中心 (ARC) 对该模型执行自主复制和收集资源的能力进行的初步模型评估。作为我们红队工作的一部分，我们向 ARC 授予了对模型的早期访问权限，以便他们的团队可以评估权力追求行为的风险。ARC 评估的权力追求的具体形式是该模型自主复制和获取资源的能力。ARC 发现 GPT-4 的早期版本在他们进行的初步实验中在自主复制任务中效率低下。因此他们得出结论，该模型不太可能能够自主复制自己。 透明度是构建负责任 AI 系统的重要要素。我们问责方法的关键部分是为我们部署的新 AI 系统发布一份我们目前称为系统卡的文档。我们的系统卡旨在向读者告知影响系统行为的关键因素，特别是在与负责任使用相关的领域，并从之前关于模型和系统卡的研究工作中汲取灵感。在做出自愿承诺之前，OpenAI 已发布了两份系统卡：GPT-4 系统卡和 DALL-E 2 系统卡。此后，我们在发布 DALL-E 3 到 ChatGPT 之前发布了系统卡，这是我们签署自愿承诺后首次主要的新模型公开发布。为了继续负责任地发布我们的技术，我们还在将 GPT-4 的视觉能力提供给 ChatGPT 之前为其发布了系统卡。 我们努力在部署前防止可预见的风险。然而，任何人在实验室中学到的东西也有局限性。即使在进行了广泛的研究和测试之后，我们也无法预测人们将以什么有益的方式使用我们的技术，也无法预测人们可能滥用它的所有方式。建立快速检测和应对不可预见风险的能力是我们的重中之重，因为这种能力是前沿系统的关键保障，其中并非所有风险都能完全预料。我们建立了旨在检测意外滥用类型的内部措施，制定了应对程序，并利用所学知识改进我们的使用政策、安全系统和模型输出。发布系统后，我们进行主动调查、监测和审查传入报告以检测滥用或不可预见的风险。然后我们的目标是通过政策和技术解决方案快速和迭代地解决浮现的问题。我们正在继续扩展我们的运营并缩短响应时间。