OpenAI 关于开放模型权重的 NTIA 评论

# OpenAI 对 NTIA 关于开放模型权重的意见 来源：https://openai.com/global-affairs/openai-s-comment-to-the-ntia-on-open-model-weights/ OpenAI 相信（在新窗口中打开）(https://openletter.svangel.com/)构建、广泛部署和使用 AI 可以改善人们的生活并开启更美好的未来。进步依赖于创新和自由市场竞争。在这些广泛的指导方针范围内，人们可以通过多种不同的途径来推进 AI 的承诺。OpenAI 是最早应对如何分配前所未有的强大基础模型收益问题的 AI 开发者之一，我们首先提供这一历史背景，以帮助为 NTIA 的审议提供信息。 2019 年，我们创建了 GPT-2，它具有生成连贯文本段落的新能力，我们面临了如何部署它的问题。一方面，该模型看起来非常有用；另一方面，我们不确定（https://openai.com/research/better-language-models）它是否可能被用于恶意目的，例如生成钓鱼邮件。我们选择进行"阶段发布"实验。正如我们当时写的（https://openai.com/research/better-language-models）："阶段发布涉及在一段时间内逐步发布一个模型系列。我们 GPT-2 阶段发布的目的是为人们提供时间来评估这些模型的特性，讨论它们的社会影响，以及在每个阶段后评估发布的影响。"当我们没有观察到明显的滥用效应时，这给了我们公开发布完整模型权重（https://openai.com/research/gpt-2-1-5b-release）的信心。 2020 年，我们创建了 GPT-3，它在每个基准上的能力都远超以往任何语言模型，我们再次面临了如何发布它的问题。这一次，我们决定通过我们的第一个产品 OpenAI API（应用编程接口，允许开发者在我们的技术上构建应用）来发布它。正如我们当时写的（https://openai.com/blog/openai-api）："将技术商业化帮助我们为持续的 AI 研究、安全和政策工作支付费用"，"API 模式使我们能更容易地应对技术滥用。由于很难预测我们模型的下游用途，通过 API 发布模型并随着时间推移逐步扩大访问权限似乎本质上更安全，而不是发布开源模型，因为一旦发现有害应用，访问权限无法调整。"在几年的时间内，这种 API 发布方式让我们和社区了解了 GPT-3 级别模型的安全和滥用模式（https://openai.com/research/language-model-safety-and-misuse）。 此后，我们继续支持并相信开源 AI 生态系统的承诺，包括公开发布我们一些最先进模型的权重（例如 CLIP 和 Whisper），以及为其他 AI 开发者开发开源基础设施（例如 Triton GPU 编程语言）。我们看到公开发布的权重带来了多种重大益处，包括促进对 AI 模型内部结构的学术研究、使用户和组织能在边缘设备上本地运行模型，以及便于对模型进行创意修改以满足用户的需求。许多 AI 公司选择大力投资开放模型权重发布，理由各不相同，包括品牌、招聘以及吸引开发者生态在公司技术基础上构建和加速创新。 同时，我们通过 API 和 ChatGPT 等商业产品发布旗舰 AI 模型的方式使我们能够继续研究和缓解在初始发布后发现的风险，这些方式在模型权重发布的情况下通常是不可能的。例如，我们最近与 Microsoft 合作，检测、研究并破坏（https://openai.com/blog/disrupting-malicious-uses-of-ai-by-state-affiliated-threat-actors）多个民族国家网络威胁行为者的行动，这些行为者滥用我们的 GPT-3.5-Turbo 和 GPT-4 模型来协助网络攻击行动。如果这些当时处于前沿的模型的权重被广泛发布，破坏这些威胁行为者就不可能了，因为同样的网络威胁行为者可以在自己的硬件上托管该模型，不需要与原始开发者互动。这种方法使我们能够继续广泛分配 AI 的益处，包括通过广泛可用的免费和低成本服务。 这些经验使我们确信开放权重发布和基于 API 和产品的发布都是实现有益 AI 的工具，我们相信最好的美国 AI 生态系统将包含两者。 一次又一次，在产品发布和权重发布中，我们都看到了"迭代部署"的巨大益处：逐步将越来越强大的 AI 技术交到人们手中，使他们能用它来改善生活，并帮助社会适应这些新技术。正如我们在 2023 年写的（https://openai.com/blog/our-approach-to-ai-safety）："我们致力于在部署前防止可预见的风险，但是我们在实验室中能学到的东西是有限的。尽管进行了广泛的研究和测试，我们无法预测人们使用我们技术的所有有益方式，也无法预测人们会以何种方式滥用它。这就是为什么我们相信从真实世界使用中学习是随着时间推移创建和发布越来越安全的 AI 系统的关键组成部分。" 随着 AI 模型变得更加强大，其部署或发布的益处和风险也变得更大，我们在决定是否以及如何部署模型时也必须更加深思熟虑。如果 AI 能力对公共安全或国家安全有重大影响，这一点尤其重要。更先进 AI 系统可能出现的这种"灾难性"风险在本质上是不确定的，在这些风险出现的可能性和时间问题上存在学术分歧。我们认为目前没有足够的证据；我们无法排除这些风险，也无法确定它们是否迫在眉睫。作为推进 AI 能力前沿以最大化其益处的开发者，我们将构建该技术风险科学（包括收集与这些风险相关的证据）视为我们工作的核心部分。 为了以基于经验驱动的方式应对这些不确定性，OpenAI 公开推出了我们的准备框架（在新窗口中打开）(https://cdn.openai.com/openai-preparedness-framework-beta.pdf)，这是一种基于科学的方法来持续评估和缓解我们 AI 模型可能带来的任何灾难性风险。准备框架定义了我们如何评估 AI 模型在多个高风险领域的能力水平，包括网络安全、自主操作、个性化说服和 CBRN（化学、生物、放射性和核）威胁。有关该框架实际应用的示例，请参阅我们最近测试 GPT-4 在协助生物威胁创建方面能力的研究（https://openai.com/research/building-an-early-warning-system-for-llm-aided-biological-threat-creation），该研究得出结论，它不会带来重大的边际风险。 基于这些评估，我们在每个类别中将模型的风险水平评估为低、中、高或严重。至关重要的是，根据我们的准备框架，我们不会部署在我们的分类中风险水平为"高"或"严重"的 AI 系统（并且鉴于其风险水平，我们甚至不会训练"严重"的系统），除非我们的缓解措施能够将这些系统的风险降低到至多"中等"水平。准备框架很重要，因为它让我们能够构建并广泛分享越来越强大的 AI 的益处，同时准备好在灾难性风险出现时尽早检测和防护。 我们相信人们和公司应该能够按照他们的选择参与 AI——这可以包括开发或使用反映他们价值观和愿景的 AI——以实现 AI 的益处。同时，应该安全地构建和使用高能力的 AI 系统，任何发现的灾难性风险都应适当缓解。这些利益有时可能会产生冲突，需要以具体案例的方式进行思考周密的管理，以实现对社会最好的结果。 对于需要大量资源来创建的高能力基础模型（价值数亿美元或更多），我们相信 AI 开发者应该评估他们的模型可能造成灾难性风险的潜力，如果发现模型的风险水平很高，应该在部署或发布之前采取适当的缓解措施。这在风险管理和创新之间达成了适当的平衡：这些模型预计具有最大的能力（在新窗口中打开）(https://arxiv.org/abs/2001.08361)，而评估的成本最多是其开发成本的一小部分。无论是否打算广泛发布模型的权重或通过 API 发布，这样的评估都是有意义的。 另一方面，对于资源密集度较低的基础模型，利益平衡是不同的。根据现有证据，即使考虑到微调和模型修改技术可能的进步，这些模型似乎也不太可能带来灾难性风险。同时，灾难性风险评估可能会花费小型训练运行预算的很大一部分，这可能会对创新和竞争产生寒蝉效应。我们相信不应该对这些模型进行灾难性风险评估，因为保护多样化的开发者创新令人兴奋的新 AI 能力的能力，以及允许思想和产品的市场繁荣，具有巨大价值，科学表明这些模型的风险相对较低。 准备框架等评估协议是评估任何类型模型发布（包括开放模型权重发布）的先验风险的有用工具。在如何将它们应用于开放权重发布时，有一些特定的考虑。 其中一个考虑是测试条件应该理想地反映下游行为者可以修改模型的多种方式范围。开放模型的最有用属性之一是下游行为者可以修改模型以扩展其初始能力并根据开发者的特定应用进行定制。然而，这也意味着恶意方可能会增强模型的有害能力。对开放权重发布风险的严格评估应该包括对恶意方可能会以何种合理方式修改模型的测试，包括通过微调。OpenAI 已经在我们的准备框架中进行了一些修改测试（正如我们在生物风险评估中所做的（https://openai.com/research/building-an-early-warning-system-for-llm-aided-biological-threat-creation））。 另一个关键考虑是开放模型开发者可能无法依赖系统级安全防护措施来减少其模型滥用风险，因为安全防护措施通常可以被拥有模型权重的恶意下游用户移除。今天，这种缓解能力的差异影响有限，因为即使是我们目前最能干的模型也没有被评为风险特别高。但如果未来的模型被科学地确定在发布后会带来严重风险，那么减少开放权重发布风险的途径可能需要依靠增强发布模型的外部环境的复原力。 对 AI 滥用的社会复原力的需求超越了任何一个组织的发布决定。鉴于 AI 算法的持续进步和传播，以及计算能力的日益广泛获取（包括在令美国关切的国家），当今的前沿 AI 能力——通常在创建时只有少数行为者才能获取——最终会广泛传播。美国和世界各国也有机会在限制滥用后果的缓解措施上进行投资和领导，以使结果的平衡最大化。 例如，加强针对 AI 加速网络攻击风险的复原力可能涉及为关键基础设施提供者提供那些相同 AI 模型的早期访问权限，以便他们可以用来改进网络防御（如我们作为 OpenAI 网络安全补助计划（https://openai.com/blog/openai-cybersecurity-grant-program）部分资助的早期项目）。加强针对 AI 加速生物威胁创建风险的复原力可能涉及完全与 AI 无关的解决方案，例如改进核酸合成筛查机制（如第 14110 号行政命令所呼吁的），或改进公共卫生系统筛查和识别新病原体爆发的能力。如果 AI 模型被严格证实会对公共安全或国家安全造成严重风险，开发者也可能在广泛发布前提高对新能力的认识方面发挥重要作用（例如通过通知基础设施提供者或限制 API 部署），以为紧急需要的复原力工作创造时间和动力。这反映了网络领域"负责任的披露"规范，安全研究人员会临时禁止发布他们发现的漏洞，以便给防御者时间修补他们的系统，同时不减缓进一步的安全研究。