清华大学提出了 SAO 算法，旨在解决异步强化学习中出现的 off-policy 漂移和稳定性挑战。如论文摘要所述，SAO 已成功集成到用于训练开源 GLM-5.2 模型（750B-A40B）的智能体强化学习训练流程中。论文链接：

面向智能体强化学习的单次 rollout 异步优化

来源：https://arxiv.org/html/2607.07508

Zhenyu Hou Yujiang Li¹ Jie Tang Yuxiao Dong 清华大学

摘要

强化学习（RL）在大语言模型（LLM）的后训练阶段变得越来越重要。以往的 LLM 强化学习流程大多是同步且批量交错的，这对于长时程的智能体任务来说效率低下。最近，异步强化学习作为一种更高效的替代方案出现，它能在 rollout 到达时立即更新模型。然而，现有的异步强化学习系统通常强调吞吐量，而对训练稳定性和任务有效性的探索则相对不足。例如，广泛使用的 GRPO 框架中的分组采样自然不适用于异步智能体训练。在本文中，我们提出了单次 rollout 异步优化（SAO）来解决异步强化学习中的稳定性和 off-policy 挑战。为了减少 off-policy 效应并提升泛化能力，我们用单次 rollout 采样取代了分组采样，即为每个提示使用一次 rollout。我们进一步通过实用的价值模型训练设计改进了这种单次 rollout 策略。为了提高优化稳定性，我们引入了一种严格的双侧 token 级别裁剪策略。SAO 能够稳定训练一千步，并在智能体编程和推理基准测试中持续优于 GRPO 及其变体，例如 SWE-Bench Verified、BeyondAIME 和 IMOAnswerBench。我们还证明了单次 rollout 强化学习在模拟在线学习环境中特别有效，在该环境中模型必须适应不断变化的环境。为此，SAO 已成功部署在用于训练开源 GLM-5.2 模型（750B-A40B）的智能体强化学习流程中。

参照图 1：SAO 在推理和编程基准测试上的性能。四个推理基准测试在使用推理-加-Python-工具的设置下进行评估，基线是 Qwen3-30B-A3B SFT 模型；SWE-Bench Verified 使用 Qwen3-30B-A3B 基线评估编码能力。SAO 在所有五个基准测试上都优于相应的基线和 GRPO。

1 引言

大语言模型（LLM）的发展正从监督预训练转向后训练强化学习（RL）。最近在强化学习领域的研究表明，将强化学习计算与测试时计算结合起来是提升模型智能的一种非常有效的方式（DeepSeek-AI, 2024a (https://arxiv.org/html/2607.07508#bib.bib19)；OpenAI, 2024 (https://arxiv.org/html/2607.07508#bib.bib24)；Cobbe 等人, 2021 (https://arxiv.org/html/2607.07508#bib.bib2)；Lightman 等人, 2023 (https://arxiv.org/html/2607.07508#bib.bib3)）。大多数 LLM 强化学习流程仍然是同步且交错的：策略生成一批 rollout，优化过程只有在整个批次收集完成后才开始（Ouyang 等人, 2022 (https://arxiv.org/html/2607.07508#bib.bib1)；Rafailov 等人, 2024 (https://arxiv.org/html/2607.07508#bib.bib17)）。对于智能体和编程类工作负载，rollout 长度变化很大，因此短轨迹很快完成，而长轨迹则成为掉队者；结果，GPU 集群的大部分在等待最慢的 rollout 时处于空闲状态（DeepSeek-AI, 2024b (https://arxiv.org/html/2607.07508#bib.bib21)；Kwon 等人, 2023 (https://arxiv.org/html/2607.07508#bib.bib4)；Yu 等人, 2022 (https://arxiv.org/html/2607.07508#bib.bib5)）。异步强化学习通过持续消耗到达的 rollout 来缓解这种不均衡的生成开销，提高了利用率和墙钟效率（Mnih 等人, 2016 (https://arxiv.org/html/2607.07508#bib.bib34)；Liang 等人, 2018 (https://arxiv.org/html/2607.07508#bib.bib7)；Hoffman 等人, 2020 (https://arxiv.org/html/2607.07508#bib.bib8)）。然而，异步性带来了两个挑战。首先，每条轨迹可能由旧 rollout 模型的多个版本生成，这会导致更不可预测和更严重的 off-policy 问题，从而损害训练稳定性。以往的工作（Fu 等人, 2025 (https://arxiv.org/html/2607.07508#bib.bib33)；Noukhovitch 等人, 2024 (https://arxiv.org/html/2607.07508#bib.bib32)）试图进行异步强化学习，但主要关注效率优化而非有效性。其次，像 GRPO（Shao 等人, 2024 (https://arxiv.org/html/2607.07508#bib.bib18)；Wang 等人, 2022 (https://arxiv.org/html/2607.07508#bib.bib6)）这样的分组方法不匹配异步训练。GRPO 为每个提示采样一组响应，并使用组级别均值进行优势估计。分组采样会导致延迟驱动的 off-policy 行为，因为该组必须等待较慢的响应完成才能送入训练。此外，分组采样不适用于在线或复杂的智能体设置，在这些设置中环境通常每个提示只提供单个轨迹反馈（Sutton 和 Barto, 2018 (https://arxiv.org/html/2607.07508#bib.bib15)；Schulman 等人, 2017 (https://arxiv.org/html/2607.07508#bib.bib35)；Yao 等人, 2022 (https://arxiv.org/html/2607.07508#bib.bib13)；Nakano 等人, 2021 (https://arxiv.org/html/2607.07508#bib.bib14)）。

在本文中，我们提出面向智能体强化学习的单次 rollout 异步优化（SAO）。它在保持异步效率的同时，使异步强化学习训练在策略滞后下保持稳定和有效。SAO 使用单次 rollout 更新，而不是像 GRPO 那样的分组采样。为了使这种设置实用，它还引入了有效的价值模型训练策略。我们的贡献如下：

• • 为了在变化的策略滞后下稳定训练，我们使用 token 级别重要性采样策略。它直接使用来自 rollout 引擎的对数概率，并应用更严格的双侧 token 级别裁剪和掩码。
• • 为了减少 off-policy 效应，我们为每个提示使用单次 rollout 采样，取代了先前 GRPO 流行的分组采样。为了进一步使这种设置在智能体强化学习中实用，我们改进了价值模型过程。具体来说，我们比 actor 更频繁地更新 critic，并使用冻结注意力微调价值模型。
• • 为了处理带有交错环境反馈的多轮智能体轨迹，我们推导出一个 skip-observation token 级别 GAE 估计器。它在动作到动作的边界上计算优势。它还避免了通过非模型生成的观察 token 传播噪声。

我们在智能体编程和数学推理基准上评估了 SAO，包括 SWE-Bench Verified (Jimenez 等人, 2023 (https://arxiv.org/html/2607.07508#bib.bib38))、AIME2025 (Balunović 等人, 2025 (https://arxiv.org/html/2607.07508#bib.bib37))、BeyondAIME (ByteDanceSeed, 2025 (https://arxiv.org/html/2607.07508#bib.bib25))、HMMT (Balunović 等人, 2025 (https://arxiv.org/html/2607.07508#bib.bib37)) 和 IMOAnswerBench (Luong 等人, 2025 (https://arxiv.org/html/2607.07508#bib.bib27))。结果表明，我们的异步强化学习设计可以稳定训练大约一千步，并且性能始终优于改进的 GRPO。此外，我们表明 SAO 中的单次 rollout 策略特别适用于模拟在线学习，它能够适应动态环境变化。

2 预备知识

在语言模型的强化学习中，模型由 θ 参数化为随机策略 π_θ(y|q)，该策略根据来自数据集 D 的查询 q 生成响应序列 y = [y_1, …, y_{|y|}]。强化学习通过最大化一个裁剪的替代目标来优化 π_θ，该目标鼓励稳定的策略更新。形式上，对于给定的数据批次，统一优化目标定义为：

E[1/|y| Σ_{t=1}^{|y|} min(r_t(θ)Â_t, clip(r_t(θ), 1-ε, 1+ε)Â_t)]

其中 r_t(θ) = π_θ(y_t | q, y_{<t}) / π_old(y_t | q, y_{<t}) 是重要性采样比率，ε 是一个小的裁剪常数，Â_t 是在 t 时刻的预期收益的优势估计器。Group Relative Policy Optimization (GRPO) 通过从旧策略中对一组响应进行采样并用组均值作为基线来移除值函数。相比之下，Proximal Policy Optimization (PPO) 引入了一个参数化的价值模型 V_φ(s_t) 来估计预期收益。

然而，异步设置给强化学习公式带来了新的挑战。由于策略滞后，当旧策略 π_old 已被多个本地更新所取代时，rollout 比率 r_t(θ) 可能会偏离 1。更大的偏差会放大梯度方差并破坏稳定性，从而导致灾难性遗忘。正如我们将在实验部分展示的那样，GRPO 的分组设计在异步环境中训练不稳定。一种简单的解决方案是将 GRPO 的分组大小减少到 1。然而，组大小等于 1 的 GRPO 意味着通过单个轨迹估计优势，这引入了高方差并严重损害了性能。SAO 旨在解决这些挑战。

3 SAO：单次 rollout 异步优化

SAO 依据 actor-critic 框架，并利用价值模型 V_φ(s_t) 来降低方差。SAO 基于四个关键设计原则：(a) 使用严格的双侧 token 级别裁剪来稳定训练；(b) 使用单次 rollout 采样以减少 off-policy 效应；(c) 通过适当的价值模型设计实现有效的单次 rollout 训练，包括对价值网络的精心设计的频繁更新（TTUR）；以及 (d) 利用 “Skip-Observation” token 级别 GAE 处理智能体轨迹中固有的多轮交互。此外，我们强调价值预训练对强化学习性能的重要性。我们将在下面详细阐述每个设计。

3.1 训练稳定性：严格的 token 级别裁剪

传统 PPO 主要通过概率比率裁剪来约束策略更新。然而，在异步设置中，由策略滞后引起的比率偏差可以变得任意大，导致训练不稳定。为了处理这个问题，SAO 引入了一个更严格的置信区间：[1-ε_ℓ, 1+ε_h]。对于落在这些边界之外的 token，我们不仅裁剪目标，而且完全从梯度计算中掩码它们。形式上，当满足 (A > 0, r_t(θ) > 1+ε_h) 或 (A < 0, r_t(θ) < 1-ε_ℓ) 时，我们将信任区域限制在区间 [1-ε_ℓ, 1+ε_h] 内，而落在该范围之外的 token 则完全从梯度计算中掩码，以防止由极端策略发散引起的不稳定性。这与 Team 等人 (2025 (https://arxiv.org/html/2607.07508#bib.bib43)) 的 IcePop 机制有相似之处，但我们的策略更简单，通过进一步移除了 π_θ_old 并且仍然实现稳定训练。形式上，带有 token 级别裁剪的优化目标可以写成：

L(θ) = Ê_t[ f(r_t(θ), ε_l, ε_h) Â_t log π_θ(a_t|s_t) ] (1)

在此公式中，概率比率 r_t(θ) 直接从 rollout 日志计算，以避免需要追踪历史策略：

r_t(θ) = exp( log π_θ(a_t|s_t) - log π_rollout(a_t|s_t) ) (2)

稳定性通过校准函数 f(x; ε_ℓ, ε_h) 进一步加强：

f(x; ε_ℓ, ε_h) = { x, 如果 1 - ε_ℓ ≤ x ≤ 1 + ε_h; 0, 否则 } (3)

此掩码函数确保来自陈旧 rollout 的 token 在政策更新中被忽略，防止不可逆的偏离。通过严格裁剪界限，SAO 可以在异步环境中实现稳定的训练，正如我们在实验中所展示的，在数千步中保持稳定的性能。

3.2 减少 off-policy 效应：单次 rollout 采样

异步强化学习中最严重的 off-policy 源之一是使用多个过时模型生成的轨迹。当使用分组采样时，这种 off-policy 效应会更严重：最新的动作由最新的模型生成，而组中较慢的动作可能由滞后的模型生成。这种差异给学习算法引入了不一致的 off-policy 偏差。为了解决这个问题，SAO 放弃分组采样，转而采用单次 rollout 采样，即为每个提示使用一次 rollout。这种设计具有以下优点：

• •最少的 off-policy 暴露：每条轨迹都是在单个提示-模型快照对上生成的，从而最大限度地减少了随机 off-policy 行为。实际上，这减少了价值估计中的方差，使策略优化更加统一。
• •与智能体环境的自然协同：许多智能体任务（例如多轮交互）固有地提供每提示单条轨迹。SAO 与这种结构很好地契合，避免了使用不自然的组级均值进行计算的需要。
• •更大的有效批次大小：给定固定的总批量，单次 rollout 采样允许训练过程中使用更多不同的提示，有助于泛化。用更少的每提示样本学习控制方差的责任通过使用价值模型和 GAE 来实现，而不是通过对类似于 GRPO 的响应进行分组。

3.3 价值模型设计

SAO 严重依赖于一组专门为单次 rollout 强化学习设计的价值模型机制。

Two Time-scale Update Rule (TTUR) for Value Model。在异步训练中，所观察到的价值函数滞后于当前策略，导致优势估计不准确。为了缓解这个问题，我们采用了 Two Time-scale Update Rule (TTUR)，这是 SAO 的一个关键贡献。TTUR 建议以比 actor 更高的频率更新 critic（例如，每批更新 K 次，K > 1）。在我们的实验中，我们设置 K=2。该策略有助于在优势计算之前，价值估计更快地适应当前策略，从而减少方差。

通过参数冻结稳定价值模型训练。在我们的初步实验中，我们发现价值模型训练不稳定，价值模型的梯度范数显著大于相应的策略模型。进一步分解显示，这种不稳定性主要源于 Full Attention 层，而混合专家（MoE）层相对稳定。基于这一观察，我们对价值模型采用了 “Frozen-Attention” 训练策略。在强化学习训练期间，我们冻结 V_φ 中注意力模块的参数，只优化 MoE 投影。我们假设预训练的注意力权重已经具备足够的语义能力来关注相关 token。通过将优化限制在 MoE 层，我们有效地正则化了价值模型。

面向智能体任务的 Skip-Observation Token 级别 GAE。由于智能体任务的轨迹结构为 T = [a_0, o_0, a_1, o_1, …]，其中 a_i 代表模型动作，o_i 代表环境反馈，这给 token 级别价值估计带来了独特的挑战。标准广义优势估计（GAE）试图计算相邻 token 之间的价值差异。然而，从动作末尾 a_i,end 到观察开始 o_i,start 的转换从模型角度看是不连续的，因为模型不生成 o_i。跨越此边界计算优势会引入噪声，因为价值模型 V(o_i,start) 试图预测外部环境状态的价值。为了解决这个问题，我们推导出一个 “Skip-Observation” GAE。我们显式修改贝尔曼目标以跳过环境反馈 token，将当前动作的价值直接连接到后续动作的价值。形式上，设 a_i,N 为动作 i 的最后一个 token，a_{i+1,0} 为下一个动作的第一个 token。我们将优势定义为：

Â(a_i,N) = δ + γλ Â(a_{i+1,0}) (4)

其中时间差分残差 δ 通过桥接观察间隙计算：

δ = r_t + γ V(a_{i+1,0}) - V(a_i,N) (5)

这种公式将优势估计限制在仅依赖于模型输出，过滤掉环境反馈的随机性。相比之下，一些工作可能考虑使用步级别价值函数和 GAE 作为 token 级别价值的替代；然而，我们发现步级别价值可能导致次优性能，这将在实验部分展示。我们还对智能体轨迹进行了其他优势设计，结果见附录。

扩展价值预训练。最后，为了支持这些机制，我们发现扩展用于价值模型预训练的数据至关重要。我们的实验表明，价值估计中的 “冷启动” 问题是一个主要瓶颈。通过显著增加价值预训练语料库的规模，我们提供了一个稳健的初始化点，从训练早期就促进了我们的单次 rollout 和 TTUR 机制的有效性。

4 实验

表 1：数学推理基准测试的实验结果（准确率 %）。

表 2：SWE-Bench Verified 的实验结果（准确率 %）。

参照图 参照图 参照图 图 3：训练期间 SAO 和 GRPO (w/ DIS) 的性能比较。可以观察到，SAO 在不同基准测试的训练过程中几乎始终优于优化的 GRPO。

4.1 实验设置

训练细节。对于带 Python 的数学推理，我们在由 GPT-OSS-120B (OpenAI, 2025 (https://arxiv.org/html/2607.07508#bib.bib42)) 生成的工具集成推理（TIR）数据上微调 Qwen3-30B-A3B-Thinking-2507 (Yang 等人, 2025a (https://arxiv.org/html/2607.07508#bib.bib28)) 3个 epoch，并使用微调后的模型初始化策略和价值模型。TIR 要求模型将自然语言数学推理与 Python 工具调用交错进行。对于智能体推理的强化学习，我们使用批量大小 128，分组大小 1，最大长度 128k token。策略以 1×10^{-6} 的学习率优化，token 裁剪 ε_low = 0.3，ε_high = 5.0。我们采用长度自适应 GAE (Yue 等人, 2025 (https://arxiv.org/html/2607.07508#bib.bib26))，其中 λ_policy = 1 - 1/(αl)，α=1.5。价值模型以 5×10^{-6} 的学习率训练，λ_critic = 1，以及 10 步预热期。我们设置 K=2 以实现更快的价值模型更新，每批对价值模型进行两次更新。对于 GRPO 变体，每个训练批次包含 16 个提示，每个提示有 8 个 rollout 样本，从而产生相同的批量大小 128。