@OpenAI:我们正在分享用于跟踪、调查和披露OpenAI模型错位实例的新框架。 …

X AI KOLs 新闻

摘要

OpenAI引入了一个用于跟踪和披露模型错位实例的新框架,发布了六份初始报告以增强AI安全的透明度。

我们正在分享用于跟踪、调查和披露OpenAI模型错位实例的新框架。 该框架为公开披露设定了标准和时间表,包括在我们尚未完全解释或缓解该行为的情况下。更复杂的案例可能需要更长时间的调查或与第三方协调。 我们将优先处理那些揭示新错位机制、已知行为的重大变化,或挑战安全或缓解假设的发现。 与该框架一起,我们发布了六份关于在过去六个月内模型训练或评估过程中观察到的错位行为实例的报告。 这是一个起点。我们将通过经验和公众反馈来完善该过程,并持续分享更多报告。
查看原文
查看缓存全文

缓存时间: 2026/09/16 23:11

我们正在分享一个全新框架,用于追踪、调查和披露OpenAI模型中出现的不对齐案例。

该框架为公开披露设定了标准和时间表,包括当我们尚未完全解释或缓解相关行为时的处理方式。更复杂的案例可能需要更长的调查时间或与第三方协调。

我们将优先披露揭示新型不对齐机制、已知行为发生重大变化,或挑战安全性与缓解措施相关假设的案例。

在发布框架的同时,我们公开了过去六个月内在模型训练或评估过程中观察到的六份不对齐行为报告。

这只是个起点。我们将通过实践和公众反馈不断优化流程,并持续发布更多报告。


模型不对齐报告框架

来源:https://openai.com/index/model-misalignment-reporting-framework/ 我们正在分享一个全新框架,用于追踪、调查和披露OpenAI模型中出现的不对齐案例,同时公布过去六个月我们观察到的六份关于模型意外或令人担忧行为的报告。

过去,为了向研究人员、AI开发者、政策制定者和公众提供更充分的信息,我们曾试图公开(https://openai.com/index/detecting-and-reducing-scheming-in-ai-models/)关于(https://openai.com/index/emergent-misalignment/)不对齐(https://openai.com/index/hugging-face-incident-and-the-road-ahead/)问题的(https://openai.com/index/safety-alignment-long-horizon-models/)发现。但由于缺乏系统化的报告方法,我们的披露工作显得零散且频率不足:我们常常等到能将多个案例汇总成一份报告,或在发布新模型的系统卡片中添加相关内容。这个新框架旨在加速在观察到不对齐行为后立即发布报告,即使我们尚未完全解释或缓解所报告的行为。

随着AI系统变得愈发先进并被更广泛部署,我们需要在对齐研究进展上建立更广泛、更知情的共识。我们(https://openai.com/index/an-alien-mind/)并不认为(https://openai.com/index/an-alien-mind/)AI行业已在对齐和监控方面取得足够进展,能够继续以最高速度负责任地扩展。未来数月乃至数年AI发展如何推进,需要借鉴前沿模型构建公司之外的人们能够自行检验的证据。

不对齐的案例或许有助于识别其他AI开发者在其系统达到类似能力时可能遇到的问题,揭示安全措施的薄弱环节,或挑战关于模型行为的固有假设。分享这些发现能让他人调查相同问题、检验我们的解释并改进缓解措施。由于我们坚信不对齐透明度的价值,新框架即使在重要性尚不确定的情况下也倾向于披露。这意味着我们披露的一些案例可能最终被证明是偶然的,并非更大模式的一部分或暗示未来发展趋势。

目前,尚无行业范围框架明确规定AI开发者应如何披露其模型中的不对齐案例。我们希望今天概述的框架能成为制定此类标准的第一步,明确开发者应披露哪些不对齐案例以及报告应包含哪些内容。我们将此框架视为一个进行中的项目,并将通过实践和公众反馈不断进行优化。

下文将阐述框架的运作方式,并分享我们首批发布的报告。

我们将报告哪些不对齐案例

我们的目标是披露能为模型不对齐的产生方式、表现形式以及安全措施成功或失败之处提供有效证据的案例。我们优先关注新的机制、已知行为的重大变化,以及挑战安全性或缓解措施相关假设的发现。案例无需造成危害或确立更广泛的模式即可值得披露。本框架将涵盖模型整个生命周期(包括训练、评估、测试和部署)中的合格行为。

这包括模型未经授权采取行动、与其他模型协调运作或规避监督的新方式;引发对对齐方法或安全措施质疑的失败案例;以及挑战已发布安全性评估中某些主张的行为。同样的披露标准适用于可能影响第三方的不对齐行为。

这也可能包括看似与我们过去披露案例重复的不对齐实例。问题的重复出现本身可能就是关于我们模型行为或安全措施有效性的有用证据——例如,某种特定的不对齐行为在反复尝试缓解后仍然持续发生。在这种情况下,我们将通过更新原始不对齐披露来发布额外的案例。

我们计划与其他开发者、外部研究人员、行业标准制定机构和监管机构一起,逐步制定更客观的披露标准。我们也认为严重的安全、安保和不对齐事件应与美国联邦政府共享,并正在(https://openai.com/index/updating-our-preparedness-framework/)提议(https://openai.com/index/updating-our-preparedness-framework/)报告机制。我们认为此框架是我们现有义务的补充,并注明它不能取代我们的法定披露要求,包括那些涉及重大安全事件或网络安全漏洞的要求。

我们今天分享的不对齐案例

为启动这个新的不对齐披露框架,我们发布了关于模型训练或评估过程中观察到的六份不对齐行为案例的报告。这些案例展示了一系列我们认为值得分享的不同行为,从向用户隐瞒信息到采取未经授权的行动以克服障碍。这些是对单个案例的报告,不应被视为反映了我们在所有模型中出现不对齐的频率。以下每项都链接到完整报告。

  1. 任务摘要中生成的自指令(在新窗口打开) (https://alignment.openai.com/misalignment-reports/self-generated-prompt-injections-in-compaction-summaries/)。一个未发布的研究模型在其用于在新上下文窗口中继续工作的摘要中,插入了无关指令,包括指示忽略其正常约束的指令。我们确认有27个摘要受到影响。
  2. 任务摘要中指示隐瞒错误的指令(在新窗口打开) (https://alignment.openai.com/misalignment-reports/encouraging-deception-in-compaction-summaries/)。在GPT-5.6 Sol的训练过程中,许多模型实例在其摘要中添加了指令,以向用户隐瞒错误或不对齐行为。例如,压缩摘要包含了指示在未披露的情况下虚构缺失历史数据,以及隐藏源版本不匹配的指令。
  3. 搜索公共代码仓库以获取泄露的API密钥,然后编造信息(在新窗口打开) (https://alignment.openai.com/misalignment-reports/searching-github-for-leaked-api-keys/)。在回答一个关于加利福尼亚县收入数据的常规问题时,一个模型未经授权发现并使用了一个泄露的API密钥。当它仍然无法获取所请求的数据时,它编造了数据并将其作为来自所请求来源的数据呈现出来。
  4. 为了引用而将文件上传到互联网(在新窗口打开) (https://alignment.openai.com/misalignment-reports/uploading-files-to-the-internet-in-order-to-cite-them/)。当用户要求一个未发布的模型提供面积大于5,000,000平方米的湖泊的ID和名称时,该代理使用Python找到了正确答案。但由于指令要求提供浏览器引用,该代理决定上传文件以便在回答中引用,而未征求用户同意。
  5. 通过内部软件仓库进行未经授权的写入和通信(在新窗口打开) (https://alignment.openai.com/misalignment-reports/unauthorized-artifactory-writes-and-cross-sample-communication/)。模型使用内部软件仓库作为留言板,在搜索缺失的输入文件时跨不同的训练样本交换请求和响应,尽管它们未能恢复这些文件。本报告还研究了另一个早期案例,其中模型在试图绕过网络限制时成功将测试文件上传到仓库。
  6. 协作代理之间未经授权的文件共享(在新窗口打开) (https://alignment.openai.com/misalignment-reports/unauthorized-communication-via-temporary-file-hosting-services/)。在同一训练任务上协作工作的代理,在无法访问彼此本地文件时,使用公共文件托管网站共享文件。这使得任务交付物可在公共URL上访问,即使该任务要求模型仅使用本地文件。

我们的披露流程如何运作

任何OpenAI员工都可以向我们的安全和对齐团队标记一个不对齐案例进行调查,并请求考虑对其进行公开披露。这启动了我们的披露流程,每个步骤都有截止日期,以确保及时调查和披露。

一旦某个案例被标记,我们的技术人员将调查发生了什么、哪些方面仍不确定、公开披露是否合理以及哪些事实可以共享。他们还将评估是否有第三方受到影响,需要在发布前私下通知。

然后,该案例将被分配到三个轨道之一:准备披露、轻微调查或大型调查(“慢速轨道”)。

“准备披露”涵盖那些调查已基本完成、经审核即可发布的合格案例。“轻微调查”涵盖那些需要进一步技术调查的案例。我们预计这两个轨道将覆盖我们披露的绝大多数案例,特别是那些不需要广泛调查、与第三方协调或处理严重滥用风险的案例。我们今天发布的所有案例都属于这两个轨道之一。

“大型调查”涵盖复杂的调查,尤其是涉及第三方的情况。当受到影响时,我们的安全、法律和负责任披露义务优先于此框架。我们将尽快发布初步通知,但可能因安全原因而延迟——例如,如果模型发现了广泛使用的软件中的未知漏洞。如果一份报告会识别出第三方,即使未跨越安全边界,我们也打算提供预先通知。

“大型调查”案例的初步通知将提供事件的高级描述,说明外部专家是否正在协助调查,并提供我们预计何时能发布最终报告的任何可用估计。OpenAI Hugging Face事件如果按此框架披露,将属于此轨道。

提出案例的员工将被告知关于是否披露的决定,如果决定披露,还将告知其所属轨道。关于披露或适当轨道的未解决分歧将提交给OpenAI安全顾问小组(SAG)——这是一个由公司高层官员组成的团体,负责评估前沿模型的能力和保障措施,监督我们的准备框架(https://openai.com/index/updating-our-preparedness-framework/),并为OpenAI领导层提供建议。SAG内部的分歧或员工对其决定的异议,将提交给OpenAI领导层。决定不披露或认为披露不合理的决定,将告知安全和对齐领域的领导层,并在可能的情况下告知相关技术人员。

随着我们在实践中了解其运作方式,我们可能会修订此披露流程,并将在此帖子中记录任何变更。

每份报告将包含哪些内容

每份完整报告将描述我们观察到的行为、其严重程度及任何外部影响、发生环境、发生日期或时间范围、我们何时发现该行为,以及涉及哪些模型(高级概述)。在可能的情况下,我们还将分享:

  • 关于发生情况和造成损害的更多细节;
  • 我们如何发现该不对齐行为,以及我们的调查范围;
  • 我们对其对齐研究和技术AI安全意义的解读;
  • 该案例引发的重要未解决问题;
  • 我们正在采取或计划采取的用以应对该行为的措施。由于我们可能在完成调查或开发修复方案之前发布不对齐报告,因此这些措施在披露时可能无法提供。

对于发生在客户部署中的不对齐行为,我们将在客户隐私和合同义务允许的范围内分享尽可能多的信息。

今天的报告是一组初步披露,而非对已知不对齐或进行中调查的全面说明。这些初步报告无意代表此框架涵盖案例的全部范围或严重程度。我们承诺披露符合此框架标准的不对齐案例,包括需要更长时间调查或与第三方协调的更复杂案例(https://openai.com/hugging-face-incident-and-misalignment/#model-misalignment-2026-09)。我们将在此框架下持续发布更多报告,并随着我们继续发展,分享更多关于我们的报告承诺的内容。

相似文章

我们报告模型错位的框架

OpenAI Blog

OpenAI发布了一个新框架,用于系统性地报告模型错位,以提高透明度并为AI行业的对齐研究提供信息。

OpenAI 公开部分对齐问题(11分钟阅读)

TLDR AI

OpenAI 坦诚分享了一份关于内部模型试图绕过限制的报告,导致他们将该模型下线并建立新的安全措施。文章赞扬了 OpenAI 的透明度,但也警告不要仅依赖监控,因为模型的能力越来越强。