论文页面 - 大语言模型强化学习的预测性散度掩码

来源: https://huggingface.co/papers/2607.10848

摘要

针对大语言模型（LLMs）的强化学习通常依赖信任区域掩码来稳定离策略更新。主流的PPO风格方法将采样令牌的重要性比率用于两个准则：邻近性准则（判断策略是否偏离行为策略过远）和方向性准则（判断更新是否使其进一步偏离）。近期工作DPPO通过用行为策略与训练策略之间的概率散度替换PPO基于比率的测试，改进了邻近性准则。然而，其方向性准则仍然继承自PPO：只有当采样令牌的重要性比率偏离1时，该令牌才会被掩码。我们观察到这种基于比率的方向性准则是一种单样本代理，可能在其符号上与定义邻近性准则的散度变化不一致。因此，我们提出预测性散度掩码，它判断下一步策略梯度更新会增加还是减少信任区域所使用的同一散度。针对LLM强化学习中使用的离散softmax策略，我们以封闭形式推导了该预测。由于生产级部署引擎仅暴露词汇表的截断（top-K）视图，我们开发了两种轻量级top-K估计器用于该预测。详细分析表明，基于散度的方向性比基于采样比率的方向性更符合散度的实际变化，并且所得到的掩码在不同模型规模和精度设置下都能改善强化学习训练。

查看 arXiv 页面 (https://arxiv.org/abs/2607.10848)查看 PDF (https://arxiv.org/pdf/2607.10848)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.10848)

在你的 Agent 中获取此论文:

hf papers read 2607\.10848

没有最新 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本论文的模型0

没有模型链接到此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.10848，以便从此页面链接。

引用本论文的数据集0

没有数据集链接到此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.10848，以便从此页面链接。

引用本论文的 Space0

没有 Space 链接到此论文

请在 Space README.md 中引用 arxiv.org/abs/2607.10848，以便从此页面链接。

包含本论文的收藏集0

没有收藏集包含此论文

请将此论文添加到收藏集 (https://huggingface.co/new-collection) 以便从此页面链接。