论文页面 - 重新思考 LLM 强化学习中的散度正则化

来源：https://huggingface.co/papers/2606.09821

摘要

DRPO 通过用平滑的正则化替代硬掩码，改善了 LLM 强化学习的稳定性，该正则化在信任区域边界之外提供连续的梯度修正。

强化学习 (https://huggingface.co/papers?q=Reinforcement%20learning) 已成为后训练大语言模型 (https://huggingface.co/papers?q=large%20language%20models) (LLMs) 的关键组成部分。实践中，由于训练-推理不匹配和策略陈旧，LLM 强化学习往往是离策略 (https://huggingface.co/papers?q=off-policy) 的，这使得信任区域控制 (https://huggingface.co/papers?q=trust-region%20control) 对于稳定优化至关重要。主流方法如 PPO (https://huggingface.co/papers?q=PPO) 和 GRPO (https://huggingface.co/papers?q=GRPO) 通过比率裁剪 (https://huggingface.co/papers?q=ratio-clipping) 机制来近似这种控制，但重要性比率 (https://huggingface.co/papers?q=importance%20ratio) 在长尾词汇中可能无法很好地代理分布偏移。近期工作如 DPPO (https://huggingface.co/papers?q=DPPO) 通过用基于散度的掩码 (https://huggingface.co/papers?q=divergence-based%20mask) 替代基于比率的裁剪，解决了这种不匹配问题，从而定义了一个由采样 token 绝对概率变化决定的信任区域。然而，DPPO (https://huggingface.co/papers?q=DPPO) 仍然依赖硬掩码：一旦某个 token 以有害方向越过了信任区域边界，其梯度会被丢弃而非修正。为解决这一问题，我们提出了散度正则化策略优化 (DRPO)，该算法将硬掩码替换为一个基于优势加权的二次正则化器 (https://huggingface.co/papers?q=advantage-weighted%20quadratic%20regularizer)，作用于策略偏移 (https://huggingface.co/papers?q=policy%20shift)。DRPO 保留了与 DPPO (https://huggingface.co/papers?q=DPPO) 相同的信任区域几何结构，同时引入有界、连续的梯度权重，这些权重会衰减发散更新，并在边界外提供修正信号。跨模型规模、架构和精度设置的实验表明，DRPO 提高了 LLM 强化学习训练的稳定性和效率。

查看 arXiv 页面 (https://arxiv.org/abs/2606.09821)查看 PDF (https://arxiv.org/pdf/2606.09821)GitHub324 (https://github.com/Tencent-Hunyuan/UniRL)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.09821)

在你的 agent 中获取这篇论文：

hf papers read 2606\.09821

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2606.09821 即可从此页面关联。

引用此论文的数据集0

没有数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2606.09821 即可从此页面关联。

引用此论文的 Spaces0

没有 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2606.09821 即可从此页面关联。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面关联。