@cwolferesearch: 智能体强化学习需要新的算法改进。在GRPO中，用于训练的“群体”开始发生变化……

X AI KOLs Timeline 论文
reinforcement-learning grpo agentic-rl reward-normalization multi-task-learning algorithm

摘要

本线程讨论了针对智能体强化学习对GRPO的改进，重点介绍了不同层级的优势归一化（提示层级、任务层级、环境层级），以应对多任务、多轮次环境中的高奖励方差。

智能体强化学习需要新的算法改进。在GRPO中，用于训练智能体的“群体”开始发生变化…… 在原始GRPO中，我们对每个提示采样多个轨迹，并通过归一化每个轨迹的奖励（即减去组内平均奖励并除以标准差）来计算优势。这种方法在单轮任务中表现良好，但智能体强化学习的轨迹包含多个轮次、不同环境等，奖励方差可能更高。 为了应对智能体强化学习中的高方差，几篇论文通过改变优势归一化的群体范围对GRPO进行了改进： （1）提示层级归一化。这是标准的GRPO方法。针对每个提示，采样多条轨迹，计算该提示组内奖励的均值/标准差，并用这些统计量估计每条轨迹的优势。 （2）任务层级归一化。AgentRL首先计算GRPO风格的轨迹优势，将这些优势分配给智能体生成的token，然后在整个任务/领域内对token级优势进行归一化。这减少了不同领域间的优化尺度差异，并防止某个任务主导更新。 （3）环境层级归一化。ERPO保留了GRPO中提示级的奖励均值，但计算所有来自同一环境下问题的有效轨迹的奖励标准差。换句话说，GRPO风格优势估计中的分母汇集了更广泛的环境级群体的奖励。 为什么这样做有帮助？智能体强化学习是多任务、多轮次的。不同环境可能有不同的奖励尺度、难度级别、轨迹长度和方差。如果仅在每个提示组内进行归一化，策略更新可能会变得嘈杂或被部分任务主导。通过将归一化群体从单个提示扩展到整个任务/领域/环境，我们可以在智能体训练期间获得更稳定的优势估计。
查看原文
查看缓存全文

缓存时间: 2026/07/07 21:38

代理式强化学习需要新的算法改进。在GRPO中，训练智能体时使用的“组“开始发生变化……

在标准GRPO中，我们对每个提示采样多个轨迹，并通过归一化每条轨迹的奖励（即减去组内平均奖励并除以标准差）来计算优势值。这种方法在单轮任务中表现良好，但代理式RL由于轨迹包含多轮交互、不同环境等因素，奖励方差可能更高。

为应对代理式RL中的高方差问题，多篇论文通过改变优势归一化所依据的组来改进GRPO：

(1) 提示级别归一化。这是标准GRPO。对每个提示采样多条轨迹，计算该提示组内奖励的均值/标准差，并用这些统计量估计每条轨迹的优势。

(2) 任务级别归一化。AgentRL首先计算GRPO风格的轨迹优势，将这些优势分配给智能体生成的token，然后在整个任务/领域内对token级优势进行归一化。这降低了不同领域间的优化尺度差异，防止单个任务主导更新。

(3) 环境级别归一化。ERPO保留提示级别的奖励均值，但奖励标准差则基于同一环境下所有问题有效轨迹的奖励来计算。换句话说，GRPO优势估计中的分母汇集了更广泛环境级别组的奖励。

为什么这样有效？ 代理式RL是多任务、多轮的。不同环境可能具有不同的奖励尺度、难度、轨迹长度和方差。如果只对每个提示组内进行归一化，策略更新可能变得杂乱，或被部分任务主导。通过将归一化组从提示扩展到整个任务/领域/环境，我们可以使智能体训练中的优势估计更加稳定。

进一步阅读的相关链接：

  • 我的博客：https://cameronrwolfe.substack.com/p/agentic-rl
  • ERPO：https://arxiv.org/abs/2512.22857
  • 任务级别优势归一化：https://arxiv.org/abs/2510.04206

相似文章

面向进度与可靠性的智能体强化学习组策略优化

arXiv cs.AI

ProGPO是一种免学习评论器的方法，用于LLM智能体基于组的RL中的步骤级优势估计，它使用精确前缀动作比较和基于rollout的状态势，以改善长视界任务上的信用分配。在ALFWorld和WebShop上使用Qwen2.5模型的实验表明，它优于现有的智能体RL基线。

GAGPO：广义优势分组策略优化

arXiv cs.AI

GAGPO提出了一种无评论家的强化学习方法，在多方交互的自主任务中，利用非参数分组价值代理进行步级信用分配，在ALFWorld和WebShop上超越了强基线模型。