随着模型能力日益增强，其开发与测试过程中伴随的风险也随之增长。

我们已对计划部署的最新模型暂停强化学习训练两周，期间对研究环境进行安全加固与红队测试，并扩大了监控覆盖范围。

目前规模最大的前沿强化学习训练仍处于暂停状态，同时通过小规模训练与评估验证这些安全措施，并建立更多关于对齐效果的证据。

在网络关键能力时代把控模型开发节奏

来源：https://openai.com/index/pacing-model-development-cyber-capabilities/ 过去数周内，两起事件凸显了AI系统能力增强带来的风险增长：OpenAI-Hugging Face事件（https://openai.com/index/hugging-face-model-evaluation-security-incident/）以及关于我们即将推出的模型Astra可能达到我们“准备框架”（https://openai.com/index/updating-our-preparedness-framework/）中“关键网络安全能力”（https://openai.com/index/responding-next-frontier-critical-cyber-capabilities/）阈值的初步证据。这些事件与内部研究的快速进展共同加剧了我们在训练各阶段强化监控、对齐及安全遏制措施的紧迫性。

随着模型能力日益增强，其开发与测试过程中伴随的风险也随之增长。我们必须在监控、对齐和安全标准上领先于这些风险。为此，我们放缓了扩展节奏，包括对计划部署的最新模型暂停两周强化学习训练，以进一步加固研究环境、开展红队测试并扩大监控系统覆盖范围。目前规模最大的前沿强化学习训练仍处于暂停状态，我们正在开展小规模训练与评估，以在继续推进前验证模型行为、检验安全措施并建立更多对齐证据。

对齐（https://openai.com/safety/how-we-think-about-safety-alignment/）——即确保AI系统按预期运行并响应人类监督的工作——长期以来是我们研究项目的核心。基于现有研究与评估，我们现在要求在整个训练过程中提供更强的行为对齐证据。保持日益强大的系统对齐是整个领域面临的挑战。我们从即将到来的模型进展中看到的信号明确表明，需要更全面的方案——这一方案应以现有准备框架为基础并超越其范畴。

我们认为透明地说明方法变革至关重要。下文将阐述我们已对研究流程与基础设施实施的改进，以及正在进行的工作。

为更强大模型强化安全措施

我们开发更强大模型的方法建立在三个相辅相成的安全措施之上：

1. 监控：检测并应对潜在风险行为。
2. 对齐：降低有害或未授权行为的发生概率。
3. 安全机制：限制AI系统的访问与影响范围。

我们预计模型很快将主导大部分安全工作，包括抵御其他模型。这将使三大安全措施能随模型能力扩展，我们认为这至关重要。

我们将这些措施贯穿于研究与部署全过程，并根据每个模型的能力、运行环境和风险等级进行调整。

研究环境安全加固

随着前沿模型获得更强的网络安全能力，我们正在提高训练与评估环境的安全标准。满足这些标准需要大量工程投入，造成了巨大的成本增加和前沿研究延迟。在OpenAI-Hugging Face事件后，我们立即暂停了研究集群中可执行代码或使用联网工具的前沿模型推理服务。随后我们较快恢复了有限且安全的代码执行路径，并逐项评估各工作负载能否安全恢复运行。部分研究负载在这些新控制措施下恢复运行，其他负载则需要进一步调整。

在过去几周，我们定义并开始实施更严格的前沿研究负载安全要求。例如：

• 负载隔离：我们要求对执行模型生成代码或不受信任代码的负载实施更强的“沙箱”隔离。这对处理模型输出时可能被侵入的软件同样适用。
• 网络隔离：我们实施了更多控制措施，将高风险及不受信任的负载与互联网隔离。这些控制的设计确保单个负载或支撑服务被攻破时，不会直接导致未授权访问互联网或其他内部网络。
• 持续安全测试：我们重新配置环境以移除潜在脆弱的共享服务、减少长期权限并强化安全与信任边界。同时正在提升安全日志的收集与监控能力。最终将投入资源利用模型自动化持续测试这些边界，模拟攻击防御。

这些纵深防御措施共同保护我们的研究环境免受攻击。目前对涉及Astra或网络模型的工作负载实施最严格的安全保障，因为Astra模型可能具备关键级网络能力。这些措施同样适用于所有其他网络相关负载。

虽然部分Astra训练与评估已满足要求，但大量负载在完成迁移升级至新安全标准前仍保持暂停状态。我们优先将安全与对齐相关负载迁移至新环境。

拓展思维链监控

监控长期以来是模型开发流程的重要环节，包括对内部编程智能体（https://openai.com/index/how-we-monitor-internal-coding-agents-misalignment/）和长时间运行会话（https://openai.com/index/safety-alignment-long-horizon-models/）的监控。此前监控重点集中于前沿模型的内部部署及强化学习训练——这些被视为最高风险负载，因其结合了先进模型能力与工具访问、敏感系统及内外网络权限，但未覆盖所有使用工具的推理与训练。我们通过新的监控方案进行了修订与扩展。

新监控系统采用多阶段机制：从每个采样词元运行的激活分类器（检测模型内部活动）开始，将潜在风险逐级上报至更复杂、计算资源更密集的自动调查系统。这些系统将检查工具操作、可用推理及完整活动序列，识别未授权访问、数据窃取、破坏性行为及绕过安全措施的企图。我们目标是在监控系统发现风险后30分钟内发出警报。若监控系统识别出可能突破关键安全边界的行为，将生成最高优先级警报。根据当前实施流程，安全、安保与研究团队将被紧急通知。如无法在30分钟内确定标记为误报，相关团队需暂停该活动。

所有涉及Sol级或更高能力模型工具使用的强化学习训练与评估均需实施此监控。8月7日确认Astra可能具备关键网络能力后，我们新增了对Astra所有工具推理（不仅限于训练评估）的额外监控要求。

这些措施需要可观的计算资源。当前估算显示监控开销约占被监控推理计算的20%，但因训练与评估负载差异成本会有显著波动。我们将在后续博文中详细说明该系统。

推进对齐研究

对齐研究是我们使命的核心。我们的使命是确保通用人工智能造福全人类。随着模型获得高级能力（如网络攻击能力）并在更复杂环境中运行，奖励破解（通过非预期方式在训练中获得高奖励）、欺骗或未授权访问等失对齐行为将带来日益严峻的风险。

针对能力最强模型的强化学习训练，我们现在在整个训练过程更多阶段应用核心技术：改进奖励模型以更好检测和抑制跨任务、跨环境的不安全行为；训练模型更诚实地表述其行动、能力与限制；减少利用奖励、评分器、工具或监督漏洞的行为。同时我们正增加模型与外部系统/资源交互时可能造成危害行为的训练覆盖。

我们将持续大力投入对齐研究，扩大评估范围，并利用研究成果指导训练与安全措施。近期计划分享更多对齐研究细节，包括模型行为认知及发现的新挑战。

后续计划

我们将演进准备框架，将安全措施贯穿训练与部署全流程，更好反映未来模型能力及其运行环境。开发随能力扩展的方法需要持续投入模型辅助安全、更有效的监控以及对齐研究的持续进步。我们计划引入外部机构参与，并在方法发展过程中分享更多成果。

前沿模型的能力正快速演进。我们理解、对齐与保障这些模型的能力必须保持领先。

我们将在未来数周内发布技术报告详述相关经验。