面向进度与可靠性的智能体强化学习组策略优化

# 面向进度与可靠性的群体策略优化：基于智能体的强化学习  
来源：https://arxiv.org/html/2607.04242  

###### 摘要  
基于群体的强化学习（RL）已成为改进大型语言模型在长周期交互任务中表现的有效范式。为了实现比轨迹级优化更细粒度的策略更新，近期研究转向步骤级群体强化学习，其中中间步骤被分组并在同批次探索轨迹内进行比较。然而，步骤级优势估计对分组方式高度敏感：按广义状态键分组虽能提升覆盖范围，但可能将不同历史条件下的动作混为一谈；而强制保持历史一致性虽能保证比较公平性，却会导致群体碎片化，丧失跨样本对比信号。本文提出 ProGPO（面向进度与可靠性的群体策略优化），这是一种无需学习型价值网络的上下文一致步骤级学习方法。ProGPO 保留精确前缀动作比较，并通过基于探索轨迹状态势能（state potentials）的转移信用（transition credit）来补充稀疏的跨样本比较信号。为可靠估计这些势能，ProGPO 结合语义扩展与跨历史深度的逆方差融合技术。我们在 ALFWorld 和 WebShop 两项具有挑战性的智能体任务上，基于 Qwen2.5-1.5B-Instruct 模型进行评估。结果表明，在相当的计算开销下，ProGPO 相比匹配的智能体强化学习基线有所提升；此外，Qwen2.5-3B-Instruct 上的实验进一步验证了所提方法的可扩展性。  

## 1 引言  
大型语言模型（LLM）越来越多地被部署为能感知、推理并在外部环境中行动的智能体（Brown 等，2020；Yao 等，2023；Liu 等，2024；Wang 等，2024）。代表性应用包括网页导航（Yao 等，2022；Deng 等，2023；Zhou 等，2024；Zheng 等，2024）、具身家务任务（Shridhar 等，2021；Ahn 等，2022；Driess 等，2023）以及工具增强推理（Schick 等，2023；Qin 等，2024；Jin 等，2025）。与单轮生成不同，这些任务需要长周期规划、从早期错误中恢复，以及在稀疏延迟奖励下进行信用分配。因此，强化学习已成为改进模型行为的关键后训练范式，涵盖了从人类偏好优化（Christiano 等，2017；Ouyang 等，2022；Bai 等，2022；Rafailov 等，2023）到面向推理的强化学习（DeepSeek-AI 等，2025）。特别地，基于群体的方法通过在同一任务下采样多个响应或轨迹来估计优势，从而避免学习型价值函数，同时保持可扩展的策略优化。GRPO（Shao 等，2024）及其变体 DAPO（Yu 等，2025）在群体内比较轨迹级结果，而 RLOO（Kool 等，2019）则使用留一基线。然而，这些方法主要针对单轮任务（如数学推理和代码生成）设计，其中每个响应都能获得完整结果，步骤级信用分配较为明确。  

在多轮智能体任务中，直接的轨迹级优化效率低下。诸如 RAGEN（Wang 等，2025）和 Search-R1（Jin 等，2025）等方法将完整交互历史拼接成单一序列，导致有效上下文长度随轮次增加而快速增长。为避免这种上下文爆炸，近期步骤级方法（如 GiGPO，Feng 等，2025）将重复的中间状态分组，并计算组内优势，从而实现无需额外步骤级探索轨迹的细粒度更新。然而，步骤级分组引入了新的可比性要求。如果仅按当前观测值对步骤分组，那么在不同历史、目标或可用技能下执行的动作可能会被分在同一组，从而产生有偏的动作优势。自然的补救措施是**上下文一致性**：仅比较共享相同历史前缀的步骤。然而，在这种更严格的分组下，批次会变得碎片化：许多步骤成为“孤立点”或低对比度群体，无法获得有效的跨样本比较信号。图 2 展示了 ProGPO 训练轨迹中的这一现象：在应用转移信用之前，WebShop 中 33.7% 的步骤和 ALFWorld 中 44.5% 的步骤没有前缀一致的跨样本比较优势，且小值群体在训练过程中普遍存在。  

图 1：ProGPO 的动机。左图：探索轨迹。中图：按当前状态进行步骤级分组可能会混合不同的历史。右图：上下文一致性分组产生了更小的比较群体。  

为应对这种稀疏信号场景，我们提出 ProGPO（面向进度与可靠性的群体策略优化），这是一种步骤级学习框架，在无需训练参数化价值函数或收集额外探索轨迹的情况下，为上下文一致性训练添加进度敏感的信用。ProGPO 将动作比较与进度估计分离：前缀一致组提供动作相对优势，而探索轨迹导出的状态势能定义转移信用 \(V(s_{t+1}) - V(s_t)\)。这样，动作比较保持精确，而状态进展仍可从批次级探索轨迹统计中学习。估计这些状态势能本身就是一个可靠性问题：浅层组包含更多样本，但模糊了历史依赖的值；深层前缀更具体但噪声更大。因此，ProGPO 将值查找视为多分辨率估计问题，并根据样本量和回报方差，使用逆方差权重融合符合条件的深度。语义扩展进一步稳定了势能估计，而动作比较依然精确。这种设计使得该方法无需训练价值网络，同时为跨样本比较无法评分的步骤提供进度信用。  

我们在 WebShop 和 ALFWorld 上使用 Qwen2.5-1.5B-Instruct 进行评估。ProGPO 将最佳匹配的 ALFWorld 基线从 87.8% 的成功率提升至 90.1%，并将 WebShop 成功率从 67.6% 提升至 71.5%。额外的 Qwen2.5-3B-Instruct ALFWorld 实验显示，在验证成功率和测试分数方面，ProGPO 在后期阶段均优于 GiGPO 和 HGPO。本文的主要贡献是一个信用分配框架，它在保持历史一致性比较公平性的同时，从相同探索轨迹中恢复更密集的学习信号。ProGPO 并未放宽分组规则（以免导致不公平的动作比较），而是保持动作比较的前缀一致性，并通过探索轨迹导出的状态势能添加独立的转移信用信号。我们进一步展示了如何在不训练参数化价值函数的情况下估计这些势能：语义扩展在精确组较小时提供邻近证据，而逆方差多分辨率融合使得支持度更好的历史深度承担更大权重。  

图 2：稀疏信号诊断。（a）WebShop 精确状态组。（b）小值群体、零跨样本信号以及残余零信号步骤的训练轨迹份额。  

## 2 相关工作  

**面向 LLM 的强化学习**。强化学习已成为对齐和改进 LLM 的核心手段，超越了监督微调。PPO（Schulman 等，2017）结合学习型价值函数是早期 RLHF 流程的标准（Christiano 等，2017；Ouyang 等，2022；Bai 等，2022），而 DPO（Rafailov 等，2023）表明某些偏好学习目标可以避免显式的在线强化学习。近期的推理模型再次严重依赖于强化学习风格的后训练（DeepSeek-AI 等，2025）。GRPO（Shao 等，2024）通过为同一提示比较多个采样响应并计算组相对优势，消除了价值函数。后续改进包括 DAPO（Yu 等，2025）和 RLOO（Kool 等，2019）。这些方法继承了 REINFORCE、Actor-Critic 学习和优势加权更新的策略梯度血统（Williams，1992；Sutton 等，1999；Konda and Tsitsiklis，1999；Peng 等，2019），但在单轮任务（如数学推理和代码生成）中特别有效，因为一个响应即构成完整交互。步骤级监督也通过学习型过程验证器（Cobbe 等，2021；Lightman 等，2024）得到研究；而 ProGPO 则从探索轨迹组中推导步骤信号，无需人工过程标签或额外验证器。  

**多轮 LLM 智能体**。将 LLM 部署为顺序环境中的交互式智能体（Yao 等，2023；Shinn 等，2023）带来了单轮设置中不存在的挑战，包括长周期信用分配、跨轮次上下文管理以及非平稳交互动态。早期的基于提示的方法（如 ReAct，Yao 等，2023 和 Reflexion，Shinn 等，2023）依赖上下文学习而不进行参数更新，但其性能在较难任务上往往趋于饱和。基准测试范围已从模拟购物和家庭环境（Yao 等，2022；Shridhar 等，2021）扩展到真实的网页、图形用户界面和工具使用场景（Deng 等，2023；Zhou 等，2024；Koh 等，2024；Qin 等，2024）。相关的具身和数字智能体系统将语言模型嵌入机器人或界面动作中（Ahn 等，2022；Driess 等，2023；Brohan 等，2023；Furuta 等，2024；Bai 等，2024）。近期工作将强化学习应用于通过交互调整智能体策略，在网页导航、具身任务和工具增强搜索方面取得了显著进展（Jin 等，2025；Wang 等，2024）。  

**面向长周期智能体的强化学习**。将基于群体的强化学习应用于多轮智能体，需要跨步骤进行更细粒度的信用分配。轨迹级方法（Wang 等，2025；Jin 等，2025）将完整历史拼接成单一序列，但随着回合延长，上下文爆炸问题凸显。GiGPO（Feng 等，2025）则通过重复的锚定状态构建步骤级群体，而 HGPO（He 等，2026）通过分层历史上下文匹配提高公平性。ProGPO 从探索轨迹统计中推导进度信用，无需拟合单独的价值网络。  

## 3 预备知识  

### 3.1 问题定义  
我们考虑长周期智能体任务：LLM 智能体 \(\pi_\theta\) 与环境交互 \(T\) 步，以完成由自然语言指令 \(\boldsymbol{x}\) 描述的目标。在每一步 \(t\)，智能体观察状态 \(\boldsymbol{s}_t \in \mathcal{S}\)（包含环境观测和有限历史窗口），并产生动作 \(\boldsymbol{a}_t \in \mathcal{V}^*\)（可变长度 token 序列）。环境根据动作转移至新状态 \(\boldsymbol{s}_{t+1}\)。仅在回合终止时提供稀疏标量奖励 \(r \in \mathbb{R}\)，表示任务成功或失败。我们将完整轨迹记为 \(\tau = \{(\boldsymbol{s}_1, \boldsymbol{a}_1), \ldots, (\boldsymbol{s}_T, \boldsymbol{a}_T), r\}\)，并定义折扣步骤回报为 \(R_t = \gamma^{T-t} r\)，其中 \(\gamma \in (0,1]\) 控制时间折扣。目标是最优化期望回报 \(\mathbb{E}_{\tau \sim \pi_\theta}[r]\)。  

### 3.2 面向智能体的基于群体的强化学习  
基于群体的方法通过为同一任务采样多个探索轨迹并比较其结果，无需学习型价值函数即可估计优势。对于任务 \(\boldsymbol{x}\) 的 \(N\) 条轨迹 \(\{\tau^{(1)}, \ldots, \tau^{(N)}\}\)，轨迹级群体优势（如 GRPO 中）定义为：  

\[
A^{\text{traj}}(\tau^{(i)}) = \frac{r^{(i)} - \mu}{\sigma}, \quad \mu = \frac{1}{N} \sum_{j=1}^{N} r^{(j)}, \quad \sigma = \text{std}(\{r^{(j)}\}_{j=1}^{N}).
\]  

该优势共享于轨迹中的所有 token，提供粗略的学习信号，无法区分对成功有贡献的步骤和无关步骤。  

### 3.3 轨迹级与步骤级优势对比  
为实现更细粒度的信用分配，步骤级框架（Feng 等，2025；He 等，2026）将轨迹分解为单个步骤，并在步骤级估计优势。在该框架下，策略依赖于有限上下文：\(\pi_\theta(\boldsymbol{a}_t | \boldsymbol{s}_t, \boldsymbol{h}_{t-K:t})\)，其中 \(\boldsymbol{h}_{t-K:t}\) 表示长度为 \(K \ll T\) 的历史窗口。步骤按其观测上下文分组，组内比较产生步骤级优势。对于上下文为 \(\bar{s}_i\) 的步骤 \(i\)，令 \(G_{\bar{s}_i} = \{j : \bar{s}_j = \bar{s}_i\}\)。