论文页面 - Hölder 策略优化

来源：https://huggingface.co/papers/2605.12058 作者：

，

，

，

，

，

，

，

，

摘要

GroupRelativePolicyOptimisation（GRPO）通过估计一组采样轨迹的优劣来增强大型语言模型。然而，将这些轨迹级别的优势映射到策略更新，需要聚合每个序列中的 token 级别概率。在此步骤中依赖固定的聚合机制从根本上限制了算法的适应性。根据经验，我们观察到关键权衡：某些固定聚合经常导致训练崩溃，而另一些则无法获得令人满意的性能。为解决此问题，我们提出 HölderPO，这是一个广义策略优化框架，通过 Hölder 均值统一了 token 级别概率的聚合。通过显式调节参数 p，我们的框架提供了对梯度集中度与方差界限之间权衡的连续控制。理论上，我们证明较大的 p 会使梯度集中，放大稀疏的学习信号，而较小的 p 则会严格限制梯度方差。由于没有静态配置能普遍解决这种集中-稳定性权衡，我们通过动态退火算法实例化该框架，该算法在训练生命周期内逐步调度 p。广泛的评估表明，与现有基线相比，我们的方法具有优越的稳定性和收敛性。具体而言，我们的方法在多个数学基准测试中达到了 54.9% 的最先进平均准确率，比标准 GRPO 实现了 7.2% 的相对提升，并在 ALFWorld 上获得了 93.8% 的出色成功率。

查看 arXiv 页面 (https://arxiv.org/abs/2605.12058) 查看 PDF (https://arxiv.org/pdf/2605.12058) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.12058)

在您的智能体中获取此论文：

hf papers read 2605.12058

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.12058，即可从此页面链接该模型。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.12058，即可从此页面链接该数据集。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.12058，即可从此页面链接该 Space。

包含此论文的收藏集0

没有收藏集包含此论文

将本论文添加至收藏集 (https://huggingface.co/new-collection)，即可从此页面链接该收藏集。