GLM 5.2 是如何训练的？清华异步强化学习论文详解
这篇来自清华大学的论文用单轨迹异步训练取代了 GRPO 的等全部完成再批量训练的方式：每条答案完成后立即被送入训练流水线，因此 GPU 永远不会空闲。
论文：https://arxiv.org/pdf/2607.07508

章节：
0:00 轨迹生成瓶颈
0:52 单轨迹异步
1:14 策略滞后问题
2:22 生成 vs 评估
3:37 似然比
5:14 掩码非裁剪

单轨迹异步优化用于智能体强化学习

来源：https://arxiv.org/html/2607.07508

侯振宇 李雨江¹ 唐杰 董宇潇
清华大学

摘要

强化学习在大语言模型的后训练中正变得越来越重要。以往的 LLM 强化学习流水线大多是同步且批量交错的，这对于长程智能体任务来说效率低下。最近，异步强化学习通过随着轨迹到达即时更新模型，成为一种更高效的替代方案。然而，现有异步强化学习系统通常强调吞吐量，而对训练稳定性和任务有效性探索不足。例如，一个关键挑战是广泛使用的 GRPO 框架中的分组采样天然不适合异步智能体训练。在本文中，我们提出单轨迹异步优化（SAO）来解决异步强化学习中的稳定性和离策略挑战。为了减少离策略影响并提升泛化能力，我们用单轨迹采样取代分组采样，即每个提示只使用一条轨迹。我们进一步通过实用的价值模型训练设计来改进这种单轨迹策略。为了提升优化稳定性，我们引入了严格的双侧词元级裁剪策略。SAO 能够稳定训练上千步，并在智能体编码和推理基准测试（如 SWE-Bench Verified、BeyondAIME 和 IMOAnswerBench）上持续优于 GRPO 及其变体。我们还证明单轨迹强化学习在模拟在线学习场景中特别有效，模型必须适应不断变化的环境。基于此，SAO 已成功部署在训练开源 GLM-5.2 模型（750B-A40B）的智能体强化学习流水线中。

请参考图注
图 1：SAO 在推理和编码基准测试上的性能。四个推理基准测试在“使用 Python 工具推理”设置下进行评估，基线为 Qwen3-30B-A3B SFT 模型；SWE-Bench Verified 评估编码能力，基线与 Qwen3-30B-A3B 相同。SAO 在所有五个基准测试上均优于相应的基线和 GRPO。

1 引言

大语言模型的发展正在从监督式预训练转向后训练强化学习。近期的强化学习工作表明，将强化学习计算与测试时计算共同扩展是提升模型智能的高效方式（DeepSeek-AI, 2024a；OpenAI, 2024；Cobbe 等, 2021；Lightman 等, 2023）。大多数 LLM 强化学习流水线仍然是同步且交错的：策略生成一批轨迹，优化只在整批收集完成后才开始（Ouyang 等, 2022；Rafailov 等, 2024）。对于智能体和编码工作负载，轨迹长度高度可变，因此短轨迹很快完成而长轨迹成为落后者；结果，大片 GPU 集群在等待最慢轨迹完成时处于空闲状态（DeepSeek-AI, 2024b；Kwon 等, 2023；Yu 等, 2022）。异步强化学习通过连续消费到达的轨迹来缓解这种不平衡的生成开销，提高了利用率和挂钟效率（Mnih 等, 2016；Liang 等, 2018；Hoffman 等, 2020）。然而，异步性带来了两个挑战。首先，每条轨迹可能由多个版本的旧 rollout 模型生成，导致更不可预测且更严重的离策略问题，从而损害训练稳定性。先前的工作（Fu 等, 2025；Noukhovitch 等, 2024）对异步强化学习进行了尝试，但主要集中在效率优化而非有效性上。其次，诸如 GRPO（Shao 等, 2024；Wang 等, 2022）等分组方法不匹配异步训练。GRPO 为每个提示采样一组响应，并使用组级平均进行优势估计。分组采样引入了由延迟驱动的离策略行为，因为组必须等待较慢的响应完成才能送入训练。此外，分组采样与在线或复杂智能体场景不兼容，这些场景中环境通常只对每个提示提供单条轨迹反馈（Sutton 和 Barto, 2018；Schulman 等, 2017；Yao 等, 2022；Nakano 等, 2021）。

在本文中，我们提出用于智能体强化学习的单轨迹异步优化（SAO）。它在策略滞后下保持异步强化学习训练的稳定性和有效性，同时保留异步的效率。与 GRPO 等分组采样不同，SAO 使用单轨迹更新。为了使这种设置实用，它还引入了有效的价值模型训练策略。我们的贡献如下：

• 为了在多种策略滞后下稳定训练，我们使用词元级重要性采样策略。它直接使用随 rollouts 引擎提供的对数概率，并应用更严格的双侧词元级裁剪和掩码。
• 为了减少离策略影响，我们对每个提示使用单条轨迹采样，而不是之前 GRPO 流行的分组采样。为了进一步使这种设置在智能体强化学习中实用，我们改进了价值模型流程。具体来说，我们比 actor 更频繁地更新 critic，并使用冻结注意力来微调价值模型。
• 为了处理交错环境反馈的多轮智能体轨迹，我们推导了一个跳过观测词元级 GAE 估计器。它计算跨动作边界之间的优势。它还避免通过模型未生成的观测词元传播噪声。

我们在智能体编码和数学推理基准测试上评估 SAO，包括 SWE-Bench Verified（Jimenez 等, 2023）、AIME2025（Balunović 等, 2025）、BeyondAIME（ByteDance Seed, 2025）、HMMT（Balunović 等, 2025）和 IMOAnswerBench（Luong 等, 2025）。结果表明，我们的异步强化学习设计可以稳定训练约一千步，并且持续取得比改进版 GRPO 更好的性能。此外，我们证明了 SAO 中的单轨迹策略特别适合模拟在线学习，可以适应动态环境变化。

2 预备知识

在语言模型的强化学习中，模型由参数 θ 参数化为随机策略 π_θ(y|q)，该策略给定来自数据集 D 的查询 q，生成响应序列 y=[y_1,…,y_{|y|}]。强化学习通过最大化一个裁剪的代理目标来优化 π_θ，鼓励稳定的策略更新。形式上，对于一批数据，统一的优化目标定义为：

E[1/|y| ∑_{t=1}^{|y|} min(r_t(θ)Â_t, clip(r_t(θ), 1-ε, 1+ε)Â_t)]

其中 r_t(θ)=π_θ(y_t|q,y_{<t})/π_old(y_t|q,y_{<t}) 是重要性采样比率，Â_t 是第 t 个词元的优势估计，ε 是裁剪阈值（通常 ε=0.2）。GRPO（Shao 等, 2024）利用分组采样进一步避免显式的价值模型。具体来说，对于每个提示，采样一组 G 个响应 {y^1,…,y^G}。然后使用这组响应的归一化奖励（即奖励的 z-score）作为优势值的近似，因此不需要单独的价值模型。对于给定的组，GRPO 的目标可以表示为：

E[1/(∑_i |y^i|) ∑i ∑{t=1}^{|y^i|} min(r_t^i(θ) A_t^{GRPO,i}, clip(r_t^i(θ), 1-ε, 1+ε) A_t^{GRPO,i})]

其中 A_t^{GRPO,i} = (r(y^i) - mean(r^1,…,r^G)) / std(r^1,…,r^G) 是组归一化奖励。

3 SAO：单轨迹异步优化

我们从 GRPO 构建，将其修改为异步、价值驱动的版本，最小化离策略影响并保持稳定性。我们的方法在几个关键原则上不同：(i) 单轨迹采样与异步同步，(ii) 通过掩码进行词元级裁剪，以及 (iii) 改进的价值模型训练。

3.1 单轨迹采样

GRPO 使用了固定组大小（通常 G=64 或 128）的分组采样，这对异步执行提出了挑战：组中所有轨迹必须在送入训练前完成。最后一条轨迹成为落后者，导致 GPU 空闲。我们通过将组大小设为 1 来打破这种依赖，即每个提示采样单条轨迹。这种设计立即解锁了异步性：一旦单个 rollout 完成，就可以立即将其用于梯度更新。重要的是，单轨迹采样也在智能体强化学习中更适用，其中环境反馈通常是确定性的，组级抽样不会带来统计益处。以编码为例：给定相同的提示和环境，一次推理尝试的成功或失败结果是由代码执行的确定性结果决定的。多次采样不会产生有意义的奖励变化，这与数学推理中 reward 模型可能对正确性产生分歧的开放式任务不同。通过使用 G=1，我们消除了由等待未完成轨迹带来的延迟驱动的离策略行为。

3.2 通过掩码而非裁剪进行词元级裁剪

当使用 G=1 时，我们失去了 GRPO 的分组归一化来稳定优势。因此，我们必须引入一个价值模型来提供每词元优势估计。然而，即使使用价值模型，训练可能变得不稳定。先前的工作使用重要性采样裁剪（如 PPO 中）来限制策略比率。然而，我们发现标准裁剪不足以处理异步强化学习中遇到的宽分布概率比率。这些极端值主要由策略滞后引起：在同步设置中，策略从生成到优化保持不变，但在异步设置中，模型的参数可能对同一条轨迹持续变化，导致比率 r_t(θ) 的高方差。

为了缓解这种情况，我们采用词元级裁剪加掩码策略。基于观察，当 (Â>0, r_t(θ)>1+ε_h) 或 (Â<0, r_t(θ)<1-ε_l) 时，我们将信任区域限制在区间 [1-ε_l, 1+ε_h] 内，而落入此范围之外的词元完全从梯度计算中掩码，以防止由极端策略发散引起的不稳定。这与 Team 等（2025）的 IcePop 机制有相似之处；但我们的策略更简单，进一步移除 π_θ_old 仍能实现稳定训练。形式上，带有词元级裁剪的优化目标可以写为：

L(θ)=Ê_t[f(r_t(θ), ε_l, ε_h)Â_t log π_θ(a_t|s_t)] (1)

在这种形式中，概率比率 r_t(θ) 直接从 rollout 日志计算，以规避历史策略跟踪的需要：

r_t(θ)=exp(log π_θ(a_t|s_t) - log π_rollout(a_t|s_t)) (2)

稳定性进一步通过校准函数 f(x; ε_l, ε_h) 加强：

f(x; ε_l, ε_h)= { x, 如果 1-ε_l ≤ x ≤ 1+ε_h; 0, 否则 }

3.3 异步训练中的价值模型设计

除了政策稳定性外，价值模型的训练在异步设置中也至关重要。价值函数 V_φ(s) 使用均方误差（MSE）损失进行优化：

L(φ)=Ê_t[Â_t^2] (3)

这个损失通过梯度下降最小化，其中 Â_t 是使用 GAE 计算的优势估计。为了支持我们单轨迹、异步框架内价值模型的高效和稳定训练，我们引入了以下几个关键设计：

价值模型与策略之间的不同更新频率（TTUR）。在异步设置中，价值模型更新的频率很重要。由于当前策略不断更新，用于价值学习的目标（即返回和优势）也随之变化。我们提出一种机制，相比于策略，价值模型使用更高的更新频率（K 倍，其中 K>1）。在我们的实验中，我们设置 K=2。这种策略有助于价值估计更快地适应当前策略，同时用于优势计算，从而降低方差。

通过参数冻结稳定价值模型训练。在我们的初步实验中，我们发现价值模型训练的不稳定性，其中价值模型的梯度范数显著大于相应的策略模型。进一步分解表明，这种不稳定性主要来自全注意力层，而混合专家（MoE）层相对稳定。基于这一观察，我们对价值模型采用“冻结注意力”训练策略。在强化学习训练期间，我们冻结 V_φ 中注意力模块的参数，并优化 MoE 投影。我们假设预训练的注意力权重已经具备足够的语义能力来关注相关词元。通过将优化限制在 MoE 层，我们有效地正则化了价值模型。

用于智能体任务的跳过观测词元级 GAE。智能体任务对词元级价值估计提出了独特挑战，因为其轨迹结构为 T=[a_0, o_0, a_1, o_1, …]，其中 a_i 代表模型动作，o_i 代表环境反馈。标准广义优势估计（GAE）试图计算相邻词元之间的价值差异。然而，从动作 a_i 的结束词元 a_{i,end} 到观测 o_i 的开始词元 o_{i,start} 的转换，从模型角度来看是不连续的，因为模型不生成 o_i。跨越这一边界计算优势会引入噪声，因为价值模型 V(o_{i,start}) 尝试预测外部环境状态的价值。为了解决这个问题，我们推导出一个“跳过观测”GAE。我们明确修改 Bellman 目标以绕过环境反馈词元，将当前动作的价值直接链接到后续动作的价值。形式上，令 a_{i,N} 为动作 i 的最后一个词元，a_{i+1,0} 为下一个动作的第一个词元。我们将优势定义为：

Â(a_{i,N})=δ + γλÂ(a_{i+1,0}) (4)

其中时间差分残差 δ 通过跨越观测间隙计算：

δ=r_t + γV(a_{i+1,0}) - V(a_{i,N}) (5)

这种形式将优势估计限制为仅依赖于模型输出，过滤掉环境反馈的随机性。相比之下，一些工作可能考虑使用步骤级价值函数和 GAE 作为词元级价值的替代；但我们发现步骤级价值可能导致次优性能，这将在实验部分展示。我们还对智能体轨迹进行了其他优势设计，结果可在附录中找到。

扩展价值预训练。最后，为了支持这些机制，我们发现扩展用于价值模型预训练的数据至关重要。我们的实验表明，价值估计中的“冷启动”问题是一个主要瓶颈。通过显著增加价值预训练语料库的规模，我们提供了一个稳健的初始化点，从训练早期就促进了单轨迹和 TTUR 机制的有效性。

4 实验

表 1：数学推理基准测试实验结果（准确率 %）。

表 2：SWE-Bench Verified 实验结果（准确率 %）。

请参考图注
请参考图注
图 3：训练过程中 SAO 与 GRPO (w/ DIS) 的性能比较。可以观察到，SAO 在不同基准测试上的训练过程中几乎始终优于优化后的 GRPO。

4.1 实验设置

训练细节。对于使用 Python 的数学推理，我们在 GPT-OSS-120B（OpenAI, 2025）生成的工具集成推理（TIR）数据上对 Qwen3-30B-A3B-Thinking-2507（Yang 等, 2025a）进行 3 个 epoch 的微调，并使用微调后的模型初始化策略和价值模型。TIR 要求模型将自然语言数学推理与 Python 工具调用交错进行。对于智能体推理的强化学习，我们使用批大小为 128，组大小为 1，最大长度为 128k 个词元。策略使用学习率 1×10^{-6} 进行优化，词元裁剪参数 ε_low=0.3，ε_high=5.0。我们采用长度自适应 GAE（Yue 等, 2025），其中 λ_policy=1 - 1/(αl) 且 α=1.5。价值模型使用学习率 5×10^{-6} 进行训练，λ_critic=1，并设置 10 步预热期。我们设置 K=2 以加快价值更新。