论文页面 - CorrGRPO：面向多奖励学习的相关性归一化 GRPO

来源：https://huggingface.co/papers/2609.36820

摘要

Group Relative Policy Optimization（GRPO）被广泛用于训练推理语言模型，它通过对同一 prompt 的多次 rollout 的奖励进行中心化和归一化来计算优势值。对于多个奖励，GRPO 会将各奖励分量相加，并用组内标准差对总奖励进行归一化。对应的方差等于所有两两奖励协方差之和。对于固定的中心化奖励，聚合协方差越大，产生的优势值就越小，反之亦然，从而让更新幅度能够适应奖励之间的依赖关系。然而，具有大规模的相关奖励可能会主导这一归一化过程，并抑制小规模奖励的信号。我们提出 Correlation-Normalized GRPO（CorrGRPO），它将两两协方差归一化为 Pearson 相关系数。CorrGRPO 在保持中心化总奖励不变的同时，平衡了不同规模奖励对基于相关性的归一化的影响。这使得优势值的大小能够适应奖励之间的相关性，而归一化过程不会被大规模的奖励分量所主导。我们在代码生成、工具调用和智能体安全任务上，将 CorrGRPO 与 GRPO 及其他变体进行了对比，使用的模型参数量从 0.5B 到 8B 不等。这些任务都涉及多个奖励，它们既可能共同提升，也可能存在权衡关系。实验结果显示，CorrGRPO 在代码生成、工具调用和智能体安全这三个领域均取得了改进。我们的代码已开源：https://github.com/HKUST-KnowComp/CorrGRPO

查看 arXiv 页面（https://arxiv.org/abs/2609.36820）查看 PDF（https://arxiv.org/pdf/2609.36820）项目主页（https://hkust-knowcomp.github.io/CorrGRPO/）GitHub0（https://github.com/HKUST-KnowComp/CorrGRPO）加入收藏（https://huggingface.co/login?next=%2Fpapers%2F2609.36820）

在你的 agent 中获取这篇论文：

hf papers read 2609.36820

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

没有模型关联这篇论文。

在模型 README.md 中引用 arxiv.org/abs/2609.36820 即可从本页面链接过去。

引用本文的数据集0

没有数据集关联这篇论文。

在数据集 README.md 中引用 arxiv.org/abs/2609.36820 即可从本页面链接过去。

引用本文的 Spaces0

没有 Space 关联这篇论文。

在 Space README.md 中引用 arxiv.org/abs/2609.36820 即可从本页面链接过去。

包含本文的合集0

没有合集包含这篇论文。

将本文加入合集（https://huggingface.co/new-collection）即可从本页面链接过去。