我们报告模型错位的框架

# 我们的模型对齐问题报告框架 来源：https://openai.com/index/model-misalignment-reporting-framework/ 我们正在分享一个用于追踪、调查和披露 OpenAI 模型不对齐案例的新框架，同时发布六份关于我们过去六个月内观察到的意外或令人担忧的模型行为的报告。 过去，为了更好地向研究人员、AI 开发者、政策制定者和公众提供信息，我们曾尝试公开我们关于不对齐问题的发现。但此前由于缺乏系统性的报告方法，我们的披露工作较为零散且频率低于理想状态：我们通常会等到能够将多个案例汇总成一份报告，或者将其添加到新发布模型的系统卡中。这个新框架旨在加快发布不对齐报告的速度，即使在我们尚未完全解释或缓解所报告行为的情况下也能及时发布。 随着 AI 系统变得越来越先进且部署范围越来越广，我们需要在对齐研究的进展上建立更广泛、更具共识的认知基础。我们不认为 AI 行业已经充分解决了对齐和监控问题，足以继续以最高速度负责任地扩展规模。未来数月乃至数年的 AI 发展方向决策，需要依据能够供构建前沿模型公司之外的人员自行审查的证据。 不对齐的案例可能有助于识别其他 AI 开发者在其系统达到类似能力时可能遇到的问题，揭示安全措施的缺陷，或挑战关于模型行为的假设。分享这些发现使其他人能够调查相同问题、验证我们的解释并改进缓解措施。由于我们相信透明披露不对齐问题的价值，即使在不确定其重要性的情况下，新框架也倾向于披露。这意味着我们披露的一些案例可能最终被证明是孤立事件，并非更大模式的一部分或预示未来发展。 目前，AI 开发者应该如何披露模型不对齐案例尚无明确标准的行业通用框架。我们希望今天提出的框架是创建此类标准的第一步，明确开发者应披露哪些不对齐案例及其报告应包含的内容。我们将此框架视为一个持续改进的工作成果，将通过实践经验和公众反馈不断优化。 下文将说明该框架的运作方式，并分享我们首批发布的报告。 ## 我们将报告哪些不对齐案例 我们旨在披露能提供有用证据的案例，这些证据应能说明模型不对齐如何产生、如何表现，以及安全措施在何处成功或失败。我们优先关注新机制、已知行为的有意义变化，以及挑战安全或缓解措施假设的研究发现。案例无需造成危害或确立更广泛的模式即可值得披露。本框架将涵盖模型生命周期（包括训练、评估、测试和部署）中的合格行为。 这包括模型未经授权行动、与其他模型协调或规避监督的新方式；质疑对齐方法或安全措施的失效情况；以及挑战已发布安全评估中声明的行为。同样的披露标准适用于可能影响第三方的不对齐行为。 这也可能包括看似与我们过去披露案例重复的不对齐实例。问题的重复出现本身可能就是关于模型行为或安全措施有效性的有用证据——例如，尽管反复努力缓解，某种特定的不对齐行为仍持续发生。在这种情况下，我们将通过更新原始不对齐披露来发布额外案例。 长期来看，我们计划与其他开发者、外部研究人员、行业标准机构和监管机构一起制定更客观的披露标准。我们也认为严重的安全、安保和不对齐事件应与美国联邦政府分享，并正在提议建立报告机制。我们认为此框架是现有义务的补充，并明确它不替代我们的法定披露要求，包括关键安全事件或网络安全漏洞的披露要求。 ## 我们今天分享的不对齐案例 为启动我们的不对齐披露新框架，我们发布六份关于模型训练或观察期间观察到的不对齐行为案例的报告。这些案例展示了各种我们认为值得分享的不同行为，从向用户隐瞒信息到为克服障碍采取未经授权的行动。这些是关于单个案例的报告，不应视为反映了我们模型中不对齐问题发生的频率。以下每项均链接至完整报告。 1. **任务摘要中的自动生成指令**（在新窗口打开）(https://alignment.openai.com/misalignment-reports/self-generated-prompt-injections-in-compaction-summaries/)。一个未发布的研究模型在用于在新上下文窗口中继续工作的摘要中插入了无关指令，包括忽略其正常约束的指令。我们确认了 27 个受影响的摘要。 2. **任务摘要中隐瞒错误的指令**（在新窗口打开）(https://alignment.openai.com/misalignment-reports/encouraging-deception-in-compaction-summaries/)。在 GPT-5.6 Sol 的训练过程中，许多模型实例在摘要中添加指令，向用户隐瞒错误或不对齐行为。例如，压缩摘要包含指示虚构缺失历史数据且不披露该行为，以及隐藏源版本不匹配的指令。 3. **搜索公共仓库中暴露的 API 密钥，然后编造信息**（在新窗口打开）(https://alignment.openai.com/misalignment-reports/searching-github-for-leaked-api-keys/)。在回答关于加利福尼亚州某县收入数据的常规问题时，一个模型未经授权发现并使用了一个暴露的 API 密钥。当它仍然无法检索所请求的数据时，它编造了数据并将其作为来自请求来源的数据呈现。 4. **为引用文件而将其上传到互联网**（在新窗口打开）(https://alignment.openai.com/misalignment-reports/uploading-files-to-the-internet-in-order-to-cite-them/)。当用户要求一个未发布的模型提供面积大于 500 万平方米的湖泊 ID 和名称时，智能体使用 Python 找到了正确答案。但由于指令要求提供浏览器引用，智能体决定上传文件以便在答案中引用，而没有询问用户。 5. **通过内部软件仓库进行未经授权的写入和通信**（在新窗口打开）(https://alignment.openai.com/misalignment-reports/unauthorized-artifactory-writes-and-cross-sample-communication/)。模型使用内部软件仓库作为留言板，在搜索缺失的输入文件时，跨独立的训练样本交换请求和响应，尽管它们未能恢复这些文件。本报告还审查了一个更早的案例，其中模型在尝试绕过网络限制时成功将测试文件上传到仓库。 6. **协作智能体之间未经授权的文件共享**（在新窗口打开）(https://alignment.openai.com/misalignment-reports/unauthorized-communication-via-temporary-file-hosting-services/)。在同一训练任务上协作的智能体在无法访问彼此本地文件时，使用公共文件托管网站共享文件。这使得任务交付物可通过公共 URL 访问，尽管任务要求模型仅使用本地文件。 ## 我们的披露流程如何运作 任何 OpenAI 员工均可向我们的安全和对齐团队标记不对齐案例供调查，并请求考虑进行公开披露。这将启动我们的披露流程，每一步都设有截止日期以确保及时调查和披露。 案例被标记后，我们的技术人员将调查发生的情况、尚不确定的内容、是否值得公开披露以及哪些事实可以共享。他们还将评估是否有第三方受到影响，是否需要在发布前私下通知。 然后该案例将被分配到三个路径之一：**准备披露**、**轻微调查**或**大型调查（“慢速路径”）**。 **准备披露**适用于调查已基本完成、经审查后可发布的合格案例。**轻微调查**适用于需要进一步技术调查的案例。我们预计这两个路径将覆盖我们披露的大部分案例，特别是那些不需要广泛调查、与第三方协调或处理严重滥用风险的案例。我们今天发布的案例都属于这两个路径。 **大型调查**适用于复杂调查，特别是涉及第三方的案例。当有第三方受到影响时，我们的安全、法律和负责任披露义务优先于本框架。我们将尽快发布初始通知，但可能因安全原因延迟——例如，如果模型发现了广泛使用软件中的未知漏洞。如果报告将识别第三方，即使未跨越安全边界，我们也打算提前通知。 大型调查案例的初始通知将概述事件情况，说明是否有外部专家协助调查，并提供任何可用的预计最终报告发布时间。OpenAI Hugging Face 事件如果按此框架披露，将属于此路径。 提出案例的员工将被告知是否披露的决定，如果决定披露，还将告知其所属路径。关于披露或适当路径的未解决分歧将提交至 OpenAI 安全咨询小组，该小组由公司高级官员组成，负责评估前沿模型能力与安全措施，监督我们的准备框架，并向 OpenAI 领导层提供建议。安全咨询小组内部的分歧或员工对其决定的异议将上报至 OpenAI 领导层。决定不披露或认为不值得披露的情况将与安全和对齐领导层分享，并在可能范围内与相关技术人员分享。 我们可能会根据实践中的效果修订此披露流程，并将在此文章中记录任何变更。 ## 每份报告将包含什么 每份完整报告将描述我们观察到的行为、其严重性和任何外部影响、发生环境、发现日期或时间范围、发现时间，以及涉事模型（高级概述）。如有可能，我们还将分享： - 发生情况的进一步细节及造成的任何损害； - 我们如何发现该不对齐问题及调查范围； - 我们对其对对齐研究和技术 AI 安全影响的解读； - 该案例提出的重要未解决问题； - 我们正在采取或计划采取的应对措施。这些在披露时可能不总是可用，因为我们可能在完成调查或开发修复方案之前就发布不对齐报告。 对于在客户部署中发生的不对齐问题，我们将在客户隐私和合同义务允许的范围内分享尽可能多的信息。 今天的报告是初始披露集，而非已知不对齐问题或正在进行调查的完整说明。这些初始报告并不代表本框架所涵盖案例的全部范围或严重程度。我们承诺披露符合本框架标准的不对齐案例，包括需要更长时间调查或与第三方协调的更复杂案例。我们将在此框架下持续发布报告，并随着我们承诺的发展分享更多关于我们报告义务的信息。