Z.ai的稳定异步强化学习（13分钟阅读）

# 单轨迹异步优化：面向智能体强化学习  
来源：https://arxiv.org/html/2607.07508  
侯振宇 李宇翔¹ 唐杰 董宇晓 清华大学  

###### 摘要  
强化学习（RL）在大语言模型（LLM）后训练阶段正变得越来越重要。以往用于LLM的RL流程大多是同步且批次交错的，这在处理长周期智能体任务时效率低下。近期，异步RL作为一种更高效的替代方案出现，它能在轨迹展开到达时实时更新模型。然而，现有的异步RL系统往往强调吞吐量，而很大程度上忽略了训练稳定性和任务有效性。例如，一个关键挑战在于广泛使用的GRPO框架中的组内采样方式无法自然适配异步智能体训练。本文提出单轨迹异步优化（SAO），旨在解决异步RL中的稳定性和离线策略挑战。为减少离线策略效应并提升泛化能力，我们将组内采样替换为单轨迹采样，即每个提示仅使用一条轨迹。我们进一步通过实用的价值模型训练设计来改进这一单轨迹策略。为提升优化稳定性，我们引入了严格的双侧Token级裁剪策略。SAO能够稳定训练一千步，并在智能体编码和推理基准（如SWE-Bench Verified、BeyondAIME和IMOAnswerBench）上持续优于GRPO及其变体。我们还证明，在模拟在线学习场景下，单轨迹RL尤为有效——此时模型必须适应不断变化的环境。基于此，SAO已成功部署于训练开源GLM-5.2模型（750B-A40B）的智能体RL流程中。  

参见说明 图1：SAO在推理和编码基准上的性能表现。四个推理基准在“带Python工具的推理”设置下评估，基线为Qwen3-30B-A3B SFT模型；SWE-Bench Verified则以Qwen3-30B-A3B为基线评估编码能力。SAO在所有五个基准上均优于对应的基线和GRPO。  

## 1 引言  
大语言模型（LLM）的开发正从监督预训练转向后训练强化学习（RL）。近期RL研究表明，将RL算力与测试时算力结合扩展是提升模型智能的有效方式（DeepSeek-AI, 2024a；OpenAI, 2024；Cobbe 等人, 2021；Lightman 等人, 2023）。大多数LLM RL流程仍采用同步交错模式：策略生成一批轨迹，待整批收集完成后才启动优化（Ouyang 等人, 2022；Rafailov 等人, 2024）。对于智能体和编码类任务，轨迹长度差异极大，短轨迹很快完成，而长轨迹成为落后者；结果，大量GPU集群在等待最慢轨迹期间处于空闲状态（DeepSeek-AI, 2024b；Kwon 等人, 2023；Yu 等人, 2022）。异步RL通过实时消费到达的轨迹来缓解这种不平衡的生成开销，从而提升利用率和端到端效率（Mnih 等人, 2016；Liang 等人, 2018；Hoffman 等人, 2020）。然而，异步性带来了两个挑战。第一，每条轨迹可能由旧模型的不同版本生成，导致更不可预测且更严重的离线策略问题，从而损害训练稳定性。先前的工作（Fu 等人, 2025；Noukhovitch 等人, 2024）对异步RL进行了尝试，但主要关注效率优化而非有效性。第二，组内方法（如GRPO（Shao 等人, 2024；Wang 等人, 2022））与异步训练不匹配。GRPO为每个提示采样一组响应，并使用组均值进行优势估计。组内采样会引发由延迟驱动的离线策略行为，因为组必须等待最慢的完成才能送入训练。此外，组内采样与在线或复杂的智能体场景不兼容，这些场景中每个提示通常只提供一条轨迹反馈（Sutton and Barto, 2018；Schulman 等人, 2017；Yao 等人, 2022；Nakano 等人, 2021）。  

本文提出用于智能体RL的单轨迹异步优化（SAO）。它在保持异步高效性的同时，确保异步RL训练在策略滞后下保持稳定和有效。与GRPO等组内采样不同，SAO采用单轨迹更新。为使其在实际场景中可行，我们还引入了有效的价值模型训练策略。我们的贡献如下：  
- • 为在多样化的策略滞后下稳定训练，我们采用Token级重要性采样策略。它直接使用来自轨迹展开引擎的对数概率，并应用更严格的双侧Token级裁剪和掩码。  
- • 为减少离线策略效应，我们为每个提示使用单条轨迹采样，取代之前GRPO普及的组内采样。为进一步使此设置在实际智能体RL中可行，我们改进了价值模型流程。具体来说，我们更频繁地更新评论家而非行动者，并在冻结注意力的条件下微调价值模型。  
- • 为处理带有交错环境反馈的多轮智能体轨迹，我们推导出一种跳观Token级GAE估计器。它在动作到动作的边界上计算优势，并避免通过并非由模型生成的环境反馈Token传播噪声。  

我们在智能体编码和数学推理基准上评估SAO，包括SWE-Bench Verified（Jimenez 等人, 2023）、AIME2025（Balunović 等人, 2025）、BeyondAIME（ByteDanceSeed, 2025）、HMMT（Balunović 等人, 2025）和IMOAnswerBench（Luong 等人, 2025）。结果表明，我们的异步RL设计可以稳定训练约一千步，并持续达到比改进版GRPO更好的性能。此外，我们展示了SAO中的单轨迹策略在模拟在线学习中具有独特优势，能够适应动态环境变化。  

## 2 预备知识  
在面向语言模型的强化学习中，模型由参数θ参数化为随机策略πθ(y|q)，给定来自数据集D的查询q，生成响应序列y=[y₁,...,y_|y|]。RL通过最大化裁剪后的替代目标来优化πθ，该目标鼓励稳定的策略更新。形式上，对于给定的一批数据，统一优化目标定义为：  

E[1/|y| Σ_{t=1}^{|y|} min(r_t(θ)Â_t, clip(r_t(θ), 1-ε, 1+ε)Â_t)]  

其中 r_t(θ) = πθ(y_t | q, y_<t) / π_θ_old(y_t | q, y_<t)。裁剪操作将有效概率比限制在区间 [1-ε, 1+ε] 内。常见的变体如 GRPO 从该目标中移除基线模型 π_θ_old，并引入基于组的优势估计。  

## 3 单轨迹异步优化  
异步RL的核心挑战是在离线策略条件下维持训练稳定性。SAO通过三个关键设计来解决这一问题：单轨迹采样、Token级裁剪以及针对价值模型训练的一系列改进。  

### 3.1 单轨迹采样  
与为每个提示采样一组响应的GRPO不同，SAO为每个提示仅采样一条轨迹。这本质上是一种在线采样策略，自然地与异步流水线兼容，并消除了组内等待导致的离线策略偏差。对于数学推理等环境不提供外部奖励的任务，我们采用结果奖励模型（ORM）为整个轨迹打分。对于智能体编码任务，奖励基于轨迹是否成功完成给定任务。单轨迹采样使得模型在更真实的分布上进行学习，因为它直接利用了当前策略的输出，而非组聚合。  

### 3.2 稳定化策略更新：Token级重要性采样裁剪  
为减轻异步训练中因策略滞后引入的方差，我们提出严格的双侧Token级裁剪。不是对整个序列使用统一的裁剪率，或者像传统方法那样仅裁剪概率比r_t(θ)，我们为每个Token独立应用裁剪边界。具体来说，我们定义低阈值ε_l和高阈值ε_h。当重要性采样比率r_t(θ)超出安全范围时——即(A>0, r_t(θ)>1+ε_h)或(A<0, r_t(θ)<1-ε_l)——我们将信任区域限制在区间[1-ε_l, 1+ε_h]内，而完全处于此范围外的Token则从梯度计算中掩码掉，以防止因极端策略分歧导致的不稳定。这与此前Team等人（2025）的IcePop机制有相似之处，但我们的策略更简洁，进一步去除了π_θ_old，同时仍实现稳定训练。形式上，带有Token级裁剪的优化目标可写为：  

L(θ) = Êₜ [ f(r_t(θ), ε_l, ε_h) Â_t log πθ(a_t|s_t) ] (1)  

在此公式中，概率比r_t(θ)直接从轨迹展开日志计算，以避免需要跟踪历史策略：  

r_t(θ) = exp( log πθ(a_t|s_t) - log π_rollout(a_t|s_t) ) (2)  

通过校准函数f(x; ε_ℓ, ε_h)进一步增强稳定性：  

f(x; ε_ℓ, ε_h) = { x, 若 1-ε_ℓ < x < 1+ε_h; 0, 否则 }  

这种机制将优化严格限制在信任区域内，同时通过掩码完全禁止高风险Token更新策略。这与标准的PPO裁剪形成对比，后者允许可能超出约束的梯度更新。  

### 3.3 为单轨迹学习设计价值估计  
由于没有多轨迹组来估计基线，单轨迹RL需要一个独立的价值模型Vφ来为每个Token提供基于状态的价值估计。我们进行了几项增强，以适应异步训练的严格要求并使价值学习稳定。  

**异步双学习率（TTUR）**。由于异步训练中策略参数比价值参数更新更频繁——策略在每次采样后更新，而价值在批处理期间更新——我们采用了双学习率。我们用独立的优化器训练策略和价值函数，其中价值模型使用更高的学习率。此外，我们采用更快地更新价值模型（每批执行K次价值更新）来弥补价值学习的相对稀疏性（K>1）。在我们的实验中，我们设置K=2。此策略有助于在优势计算之前，价值估计更快地适应当前策略，从而降低方差。  

**通过参数冻结稳定价值模型训练**。在初步实验中，我们发现价值模型训练存在不稳定性，其梯度范数显著大于相应的策略模型。进一步分解表明，这种不稳定性主要源于全注意力层，而混合专家层保持相对稳定。基于此观察，我们对价值模型采用“冻结注意力”训练策略。在RL训练期间，我们冻结Vφ中注意力模块的参数，仅优化MoE投影。我们假设预训练的注意力权重已经具备足够的语义能力来关注相关Token。通过将优化限制在MoE层，我们有效地正则化了价值模型。  

**面向智能体任务的跳观Token级GAE**。智能体任务由于其轨迹结构T=[a₀, o₀, a₁, o₁, ...]（其中a_i表示模型动作，o_i表示环境反馈）为Token级价值估计带来了独特挑战。标准广义优势估计（GAE）试图计算相邻Token之间的价值差异。然而，从动作结束ai,end到观测开始oi,start的转换从模型角度来看是不连续的，因为模型并不生成oi。在此边界上计算优势会引入噪声，因为价值模型V(oi,start)试图预测外部环境状态的值。为解决这一问题，我们推导出一种“跳观”GAE。我们显式修改贝尔曼目标以跳过环境反馈Token，将当前动作的价值直接链接到后续动作的价值。形式上，设ai,N为动作i的最后一个Token，ai+1,0为下一动作的第一个Token。我们定义优势为：  

Â(ai,N) = δ + γλÂ(ai+1,0) (4)  

其中时间差分残差δ通过跨越观测间隙计算：  

δ = r_t + γV(ai+1,0) - V(ai,N) (5)  

此公式将优势估计约束在仅依赖模型输出，过滤掉环境反馈的随机性。相比之下，有些工作可能考虑使用步级价值函数和GAE作为Token级价值的替代；然而，我们发现步级价值可能导致次优性能，这将在实验部分展示。我们还针对智能体轨迹进行了其他优势设计，结果见附录。  

**扩展价值预训练**。最后，为支持这些机制，我们发现扩展用于价值模型预训练的数据规模至关重要。我们的实验表明，价值估计中的“冷启动”问题是主要瓶颈。通过显著增加价值预训练语料库的规模，我们提供了稳健的初始化点，促进了单轨迹和TTUR机制从训练早期阶段就开始发挥作用。  

## 4 实验  
表1：数学推理基准实验结果（准确率%）  
模型 | AIME2025 | BeyondAIME | HMMT Nov 2025 | IMOAnswerBench  
--- | --- | --- | --- | ---  
Claude-Sonnet-4.5 | 87.0 | 62.0 | 81.7 | 65.8  
GPT-5 High | 94.6 | 74.0 | 89.2 | 76.0  
GLM-4.7 | 95.7 | - | 93.5 | 82.0  
Qwen3-30B-A3B w/ python | 14.6 | 10.5 | 17.3 | 7.8  
w/o python | 85.0 | 63.0 | 76.7 | 55.3  
SFT (w/ python) | 80.4 | 53.3 | 75.2 | 53.3  
SFT (w/o python) | 14.6 | 46.8 | 17.3 | 42.0  
GRPO (w/ python) | 84.2 | 54.8 | 76.0 | 55.8  
Qwen3-30B-A3B SAO (ours) | 97.3 | 74.8 | 88.3 | 74.0  
- SAO (w/ DIS only) | 94.2 | 71.5 | 86.7 | 71.3  
- GRPO (+ DIS) | 93.5 | 70.8 | 84.0 | 70.0  

表2：SWE-Bench Verified实验结果（准确率%）  
模型 | 准确率（%）  
--- | ---  
Qwen3-30B-A3B | 23.0  
+ GRPO (w/ DIS) | 27.0  
+ SAO (ours) | 29.8  

参见说明 参见说明 参见说明 图3：SAO与GRPO（w/ DIS）在训练过程中的性能比较。可以看出，在不同基准上，SAO在训练过程中几乎始终优于优化的GRPO。  

### 4.1 实验设置  
**训练细节**。对于带Python的数学推理，我们在GPT-OSS-120B（OpenAI, 2025）生成的工具集成推理（TIR）数据上微调Qwen3-30B-A3B-Thinking-2507（Yang 等人, 2025a）3个epoch，并使用微调后的模型初始化策略和价值模型。TIR要求模型将自然语言数学推理与Python工具调用交错进行。对于智能体推理的RL，我们采用批次大小128、组大小1、最大长度128k Token。策略以1×10⁻⁶的学习率优化，Token裁剪参数ε_low=0.3，ε_high=5.0。我们采用长度自适应GAE（Yue 等人, 2025），其中λ_policy=1-1/(αl)，α=1.5。价值模型以5×10⁻⁶的学习率训练，λ_critic=1，并有10步预热期。我们设置K=2以实现价值模型更快更新，每批执行两次价值模型更新。对于GRPO变体，每个训练批次包含16个提示，每个提示8条轨迹样本，从而产生相同的批次大小128。对于编码智能体的RL，我们直接使用Qwen3-30B-A3B-Thinking-2507进行训练，并保持几乎所有超参数与TIR相同，只是ε_low=0.8，ε_high=3.0。对于SWE-Bench Verified，我们使用OpenHands作为s