论文页 - 平衡聚合：理解并修复 GRPO 中的聚合偏差

来源: https://huggingface.co/papers/2605.04077 作者:

,

,

,

,

,

,

,

,

,

摘要

平衡聚合（Balanced Aggregation）通过解决令牌级策略梯度聚合中的优化偏差问题，提升了基于可验证奖励的强化学习训练稳定性与性能。

基于可验证奖励的强化学习（https://huggingface.co/papers?q=Reinforcement%20learning%20with%20verifiable%20rewards）（RLVR）已成为提升大语言模型推理和代码生成能力的核心范式，而 GRPO 风格训练（https://huggingface.co/papers?q=GRPO-style%20training）因其简洁高效而被广泛采用。然而，一个重要的设计选择尚未得到充分探索：在每个采样组内，如何对令牌级策略梯度（https://huggingface.co/papers?q=token-level%20policy%20gradient）项进行聚合。标准 GRPO 使用序列聚合（https://huggingface.co/papers?q=sequence%20aggregation），而近期研究则提倡令牌聚合（https://huggingface.co/papers?q=token%20aggregation）作为更优的替代方案。我们指出，这两种规则会导致不同的优化偏差（https://huggingface.co/papers?q=optimization%20biases）：令牌聚合（https://huggingface.co/papers?q=token%20aggregation）引入了符号-长度耦合（sign-length coupling），而序列聚合（https://huggingface.co/papers?q=sequence%20aggregation）则通过序列级等权重隐式地降低了长响应的权重。为了解决这一矛盾，我们提出了平衡聚合（https://huggingface.co/papers?q=Balanced%20Aggregation）（BA），这是一种简单的即插即用替换方案，它分别在正负子集中计算令牌级均值，然后通过基于序列数量的权重进行组合。在 DAPO-17k 和 Polaris 数据集上，使用 Qwen2.5-Math-7B 和 Qwen3-1.7B 进行的实验，并在六个推理和编码基准上评估，结果表明 BA 在训练稳定性（https://huggingface.co/papers?q=training%20stability）和最终性能（https://huggingface.co/papers?q=final%20performance）上均持续优于标准的令牌和序列聚合（https://huggingface.co/papers?q=sequence%20aggregation）。我们的进一步分析表明，令牌和序列聚合（https://huggingface.co/papers?q=sequence%20aggregation）的相对有效性主要受响应长度变化和正负长度差距的影响，这凸显了聚合作为 GRPO 风格 RLVR 中关键设计维度重要性。

查看 arXiv 页面 (https://arxiv.org/abs/2605.04077)查看 PDF (https://arxiv.org/pdf/2605.04077)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.04077)

在您的 Agent 中获取这篇论文：

hf papers read 2605\.04077

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.04077 即可从此页面链接。

引用该论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.04077 即可从此页面链接。

引用该论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.04077 即可从此页面链接。

包含该论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection)即可从此页面链接。