GPT-5.6 Sol、Terra 和 Luna（阅读需 39 分钟）

# GPT-5.6 预览系统卡 - OpenAI 部署安全中心 来源：https://deploymentsafety.openai.com/gpt-5-6-preview ## 1\. 引言 GPT-5.6 是一个包含三款模型的新系列：Sol（我们的新旗舰模型）、Terra（一款性能强大的低成本选择）以及 Luna（我们速度最快、性价比最高的模型）。我们为此次发布构建了迄今为止最强大的安全防护措施，旨在安全且大规模地向全球交付这些模型。我们坚信广泛可及性，并计划在未来几周内将 GPT-5.6 Sol、Terra 和 Luna 逐步全面开放。作为我们与美国政府持续合作的一部分，我们在今天发布前已向政府预先通报了我们的计划及模型的能力。应政府要求，我们首先向一小部分可信合作伙伴开放有限预览（其参与情况已与政府共享），之后再更广泛地发布。在此预览期间，我们将继续测试并与合作伙伴密切协调，逐步推进全面可用性。 根据我们的《准备框架》，我们将 Sol、Terra 和 Luna 在网络安全以及生物与化学风险方面视为**高能力**级别。它们均未达到我们框架中关于 AI 自我改进的**高**阈值。我们已针对每款模型的能力特征，实施了一套量身定制的[防护措施](https://deploymentsafety.openai.com/gpt-5-6-preview/safeguards)，以充分降低相关风险。本系统卡详细报告了我们在部署前为理解和缓解 GPT-5.6 安全风险所做的工作。 需要了解的五件最重要的事情是： 1. **这些模型在网络安全能力上有了显著提升，但并未达到我们风险框架的最高级别（关键级）。** GPT-5.6 Sol 和 Terra 能够发现漏洞和部分利用代码，但在 [网络安全测试](https://deploymentsafety.openai.com/gpt-5-6-preview/cybersecurity-capabilities) 中，它们无法对加固目标执行自主、端到端的攻击。另一项评估考察了 [智能体编码任务中的失调行为](https://deploymentsafety.openai.com/gpt-5-6-preview/forecasting-misaligned-behavior-with-deployment-simulation-of-internal-traffic)，发现 GPT-5.6 比 GPT-5.5 更倾向于超出用户意图，包括采取或试图采取用户未要求的行动，尽管绝对发生率仍然很低。 2. **为了确保这些模型的安全，我们为安全堆栈添加了新技术，使其整体效果大于各部分之和。** 这些模型经过[安全性训练](https://deploymentsafety.openai.com/gpt-5-6-preview/model-safety-training-and-evaluation)，Sol 和 Terra 使用[新添加的激活分类器](https://deploymentsafety.openai.com/gpt-5-6-preview/monitor-design)进行服务，这些分类器专注于敏感领域，能够监控模型并在生成过程中介入以阻止不安全的回答。同时，某些对话会被扫描，以便在不安全输出跨越安全边界时实时阻止。我们还拥有自动化安全系统，能够检测跨对话的不安全模式——这些模式在单一时刻可能并不明显。 3. **严重危害需要一系列成功的步骤才能实现，而我们的防护措施在整个链条上都设置了障碍。** 基于我们在网络安全和生物学领域的[威胁建模](https://deploymentsafety.openai.com/gpt-5-6-preview#sec:threat-modeling)，我们设计了安全堆栈，即使攻击者完成了通往危害路径上的某一步骤，防护措施仍能阻止模型导致严重危害。我们还有[相关计划](https://deploymentsafety.openai.com/gpt-5-6-preview/trust-based-access)，确保当 GPT-5.6 模型对公众广泛可用时，我们能够继续将最敏感的网络安全和生物学能力保留给可信的防御者。 4. **我们的安全测试已经比以往任何一次发布都更为密集，并且在预览期间我们仍在继续测试。** 人类专家和外部测试者使用了多种方法来寻找漏洞。我们还投入了超过 70 万 A100e GPU 小时来自动寻找[通用越狱方法](https://deploymentsafety.openai.com/gpt-5-6-preview/automated-red-teaming-for-jailbreaks)，并将在部署期间持续运行自动化红队测试。当越狱报告出现时，我们会进行复现、缓解并重新测试，以解决漏洞。 5. **提供广泛访问，尤其是在网络安全能力方面，将带来重要的安全效益。** 我们的测试表明，GPT-5.6 在发现和修复网络漏洞方面，比在真实攻击中利用这些漏洞更为擅长。这为防御者提供了一个在网络安全弱点被利用之前加固系统的机会——随着攻击能力的提升，这种机会可能会变窄。因此，我们的防护措施专注于使大规模恶意使用变得更加困难，同时仍然支持日常的系统安全维护工作。 在本卡中，我们展示了性能如何随着思考努力（模型解决问题时使用的思考量）的变化而变化。我们不是报告单一分数，而是展示一条跨越不同努力水平的曲线。这能更全面地反映模型的能力以及达到该能力所需的努力程度。请注意，我们正在持续迭代我们的模型。之前发布模型的比较值来自这些模型的最新快照，可能与之前系统卡中发布的值略有不同。我们计划在 GPT-5.6 模型系列全面可用时，发布本系统卡的更新版本。 ## 2\. 模型数据与训练 与 OpenAI 的其他模型一样，GPT-5.6 在多样化的数据集上进行了训练，包括互联网上公开可用的信息、我们与第三方合作获取的信息，以及我们的用户或人类训练师和研究人员提供或生成的信息。我们的数据处理流程包括严格的过滤，以维持数据质量并缓解潜在风险。我们使用先进的数据过滤流程来减少训练数据中的个人信息。我们还采用安全分类器来帮助防止或减少有害或敏感内容的使用，包括明确材料（例如涉及未成年人的性内容）。 OpenAI 推理模型通过强化学习训练来进行推理。这些模型被训练为在回答之前先思考：它们可以在对用户做出响应之前产生一长串内部思考过程。通过训练，这些模型学会了完善思维过程、尝试不同策略以及识别自己的错误。推理使这些模型能够遵循我们设定的具体指南和模型策略，帮助它们按照我们的安全期望行事。这意味着它们能提供更有帮助的答案，并更好地抵御试图绕过安全规则的行为。 请注意，来自之前发布模型的比较值来自这些模型的最新版本，因此可能与这些模型发布时的值略有不同。¹ (https://deploymentsafety.openai.com/gpt-5-6-preview#fn1) ## 3\. 模型安全 ### 3.1 不允许内容 #### 3.1.1 具有挑战性提示的评估 我们针对不允许内容类别进行了基准评估。此处报告我们的生产基准测试结果，该测试集包含来自生产数据中具有挑战性示例的代表性对话。正如我们在之前的系统卡中所述，我们引入了这些生产基准测试，以帮助我们衡量持续进步，因为我们早期针对这些类别的标准评估已经相对饱和。这些评估是故意构造的，具有难度。它们围绕我们现有模型尚未能给出理想答案的情况构建，这反映在以下分数中。错误率不代表平均生产流量。主要指标是 `not_unsafe`，检查模型是否未产生根据相关 OpenAI 政策不允许的输出。我们的评估是在没有系统级防护措施的情况下对模型进行的，以确保模型的基本行为符合我们的安全标准。我们将在发布后持续监控这些类别，以评估在线性能并进一步调整防护措施。来自之前发布模型的数值来自这些模型的最新版本，评估结果可能会有一些波动。数值可能与这些模型发布时的值略有不同。下面列出的早期模型比较分数旨在揭示相对性能。由于政策、评分器、数据集和其他测量细节会随着时间的推移而演变，因此未包含在下表中的分数通常不应被视为与这些最新结果直接可比。 **具有挑战性提示的生产基准测试（越高越好）** ##### 表 1 注（与之前的系统卡相比）：为了去重我们之前“仇恨”和“骚扰”类别之间的重叠，我们将“骚扰”和“仇恨”合并为单一评估。此外，我们将之前的“暴力”类别重命名为“血腥”¹ (https://deploymentsafety.openai.com/gpt-5-6-preview#fn1)，以便更清晰地区分它与涉及非法暴力行为的请求；这是名称变更，并非底层评估的变更。 我们发现 GPT-5.6 系列的表现与之前的思考模型相似，但血腥类别除外。在 ChatGPT 上，对于我们认为可能未满 18 岁的用户，我们应用额外的适龄内容保护措施，进一步限制性内容和血腥画面的暴露。你可以阅读更多关于这些防护措施以及我们[年龄预测方法](https://openai.com/index/our-approach-to-age-prediction/)的信息。 #### 3.1.2 通过部署模拟预测不允许内容变化 基于 [GPT-5.4 思考](https://deploymentsafety.openai.com/gpt-5-4-thinking/production-benchmarks-with-representative-prompts) 和 [GPT-5.5](https://deploymentsafety.openai.com/gpt-5-5/evaluations-with-challenging-prompts) 系统卡中的评估，我们在发布前通过利用大致具有代表性的生产提示来模拟模型部署。虽然之前系统卡中的估计是实验性的，但我们在[最近的研究](https://openai.com/index/deployment-simulation/) 中更彻底地验证了这种方法。鉴于此，我们正在更新本节中报告结果的方式。我们仍在扩展此技术的应用范围，就本系统卡的范围而言，我们仅评估了 GPT-5.6 Sol。根据我们的隐私政策，我们仅分析允许将其数据用于模型改进的用户的 ChatGPT 流量。我们还排除了多模态对话。我们在剩余对话中进行均匀采样。在模型发布之前，我们利用过去的 ChatGPT 生产 GPT-5.5 对话，通过使用新模型重新采样最终的助手回复来模拟 GPT-5.6 Sol 的部署。然后，我们自动标记重新采样后的补全内容，查找不允许内容。这些标签的精确度可能有限，尤其对于低流行率行为，但仍能提供有价值的定向信号。在下图中，我们报告了预测的不安全模型级输出流行率。例如，根据观察到的 GPT-5.6 Sol 对话分布，我们估计在 GPT-5.6 Sol 的每 100,000 个生产对话轮次中，大约有 8.6 个会被评判为违反我们的骚扰政策。 **基于模拟的预测。** 将 GPT-5.6 Sol 的部署模拟与 GPT-5.5 的部署模拟进行比较，预测表明 GPT-5.6 Sol 在部署期间平均将具有与 GPT-5.5 大致相同数量的不允许内容违规。我们在模拟率之间进行比较，以消除管道中混杂因素的影响。为了识别出不太可能由噪声引起的变化，我们使用显著性水平为 0.1 的双侧 Fisher 精确检验，且未对多重比较进行校正。基于此统计检验，唯一显著的变化似乎是性不允许内容（从 0.05% 增加 40% 至 0.07%）和不允许的心理健康回复（从 0.03% 减少约 40% 至 0.02%）。虽然相对增长显著，但绝对率仍然很低，模型在这方面符合我们的安全标准。我们评估认为，此结果并未实质性改变模型的整体风险状况。 ##### 图 1 图 1. 预测变化是预期 GPT-5.6 Sol 与 GPT-5.5 相比的相对增加或减少。发生率以每 10 万中的 n 表示。符号 5.6 Sol → 5.5 表示我们正在用 GPT-5.6 Sol 重新采样来自 GPT-5.5 的生产前缀，即基于 GPT-5.5 的生产数据模拟 GPT-5.6 Sol 的部署。重新采样保真度误差是模拟质量的度量：更正式地说，它是由旧部署模拟估计的率与旧部署中实际实现的率之间的对称乘法误差。在这种情况下，我们使用 GPT-5.5 来估计我们管道的重新采样保真度误差。有关设置的更多详细信息，请参阅我们关于[部署模拟](https://openai.com/index/deployment-simulation/)的研究。 **模拟质量。** 通过比较 GPT-5.5 生产数据和基于 GPT-5.5 生产数据的 GPT-5.5 部署模拟，我们可以分离出我们管道的重新采样环境误差（我们关心的估计量的模拟质量的代理）。我们模拟的中位对称乘法误差为 1.2 倍，较高的率集中在频率较低的类别中，这与噪声基本一致——如下图所示。¹ (https://deploymentsafety.openai.com/gpt-5-6-preview#fn1) ##### 图 2 图 2. 漏斗图显示了如果生产和模拟具有相同的真实率，并且任何观察到的差距完全由噪声引起，那么对称乘法误差大约在 90% 的情况下会落在何处；落在阴影区域内的误差更可能是噪声所致，而阴影区域外的任何点则只有不到 10% 的概率由噪声引起，即如果模拟是完美的才会出现。 **先前估计的质量。** 由于自上一张系统卡以来，我们的模拟管道发生了重大变化，GPT-5.5 的生产率无法与我们在 GPT-5.5 系统卡中做出的估计进行比较，因此无法公平地对其进行验证。我们将在未来的系统卡中优先确保能够进行此类验证。正如