通过近端KL正则化实现Off-Policy RLVR中的Token级重要性采样

Hugging Face Daily Papers 论文
reinforcement-learning rlvr off-policy token-wise-importance-sampling kl-regularization language-models

摘要

这篇论文研究了RLVR中的off-policy数据问题，证明了在覆盖性与局部表达性条件下，完整未来KL信用可使精确近端优化器成为更新的唯一平稳策略，并提出ProximalKL方法，在Qwen3-1.7B和Qwen3-4B上相比GRPO在数学基准上最高提升2.58%的微平均准确率。

在可验证奖励强化学习（RLVR）中，off-policy数据可能源于异步生成、rollout与训练的不匹配以及响应复用。Token级重要性加权避免了在响应上连乘似然比，但通常会引入策略梯度的偏差。我们证明，在覆盖性和局部表达性条件下，完整的未来KL信用能够使精确的近端优化器成为更新的唯一平稳策略，即使对于旧策略的混合分布也是如此，且无需完整响应权重或拟合的critic。我们进一步建立了在持续覆盖性和时变行为策略下连续时间表格群体更新的收敛性，以及在附加假设下线性logistic模型的有限样本奖励保证。这些结果催生了Proximal KL——一种实用的off-policy RLVR方法，它将近端参考策略与采样策略分离，并用有界的未来KL信用替代PPO裁剪。在Qwen3-1.7B和Qwen3-4B上的全部七组匹配off-policy对比实验中，涵盖两种学习率、响应复用和rollout过期等设置，Proximal KL在八个数学基准上的微平均准确率相比GRPO最高提升2.58%。单独的on-policy对比实验则产生了相当的总体准确率。在周期刷新实验中，Proximal KL避免了在PG和CISPO中观察到的性能崩溃，超过了GRPO的训练准确率，并在更少的策略更新次数内达到更高的准确率。消融实验表明，token级修正优于序列级和无加权对照组。在保留token级修正的前提下，未来KL反馈相比PPO裁剪降低了对所测试基线扰动的敏感性。有限未来视野在AIME24的mean@16和pass@16指标上优于完整尾部反馈，而固定策略的测量表明，截断在所测试的视野范围内降低了修正方差。
查看原文
查看缓存全文

缓存时间: 2026/10/14 18:55

论文页面 - 在离策略RLVR中通过近端KL正则化实现逐Token重要性采样

来源：https://huggingface.co/papers/2610.18738

摘要

在可验证奖励的强化学习（RLVR）中，离策略数据可能来源于异步生成、rollout与训练不匹配以及响应复用。逐Token的重要性加权避免了跨响应累乘似然比的问题，但通常会使策略梯度产生偏差。我们证明，在覆盖性与局部表达力条件下，完整的未来KL归因（full future KL credit）能够使精确的近端优化器成为该更新的唯一平稳策略，即使对于旧策略的混合分布，也无需完整响应权重或拟合的critic。我们进一步建立了在持续覆盖与时间变化行为策略下连续时间表格型种群更新的收敛性，以及在附加假设下线性逻辑模型的有限样本奖励保证。这些结果催生了 Proximal KL——一种实用的离策略RLVR方法，它将近端参考策略与采样策略分离，并以有界的未来KL归因替代PPO裁剪。在Qwen3-1.7B和Qwen3-4B上进行的全部七组匹配离策略对比实验中（涵盖两种学习率、响应复用及rollout过期场景），Proximal KL在八个数学基准的微平均准确率上比GRPO最高提升2.58%。一组独立的同策略对比实验显示其聚合准确率相当。在周期性刷新实验中，Proximal KL避免了在PG和CISPO中观察到的性能崩溃，超越了GRPO的训练准确率，并在更少的策略更新次数内达到更高的准确率。消融实验表明，逐Token修正优于序列级和无加权的对照方法。在保留逐Token修正的前提下，未来KL反馈相比PPO裁剪降低了对所测试基线扰动的敏感性。有限的未来视野在AIME24 mean@16和pass@16指标上优于完整尾部，而固定策略测量表明，在所测试的视野范围内，截断降低了修正的方差。

查看 arXiv 页面 · 查看 PDF · 项目页面 · GitHub · 加入收藏

在你的agent中获取此论文：

hf papers read 2610.18738

还没有最新的CLI？运行：curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2610.18738，即可从此页面链接该模型。

引用此论文的数据集 0

暂无数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.18738，即可从此页面链接该数据集。

引用此论文的 Spaces 0

暂无 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2610.18738，即可从此页面链接该 Space。

收录此论文的合集 0

暂无合集收录此论文

将此论文加入合集即可从此页面链接该合集。

相似文章

论 KL 正则化策略优化

Hugging Face Daily Papers

提出 KL 正则化策略优化（KLPO）框架，通过将 KL 正则项锚定在采样器处，实现无 critic、无重要性权重的异步 RL 更新：每个 prompt 仅需一次 rollout，并证明 SPPO、GPO、REBEL 和 BPO 均为 KLPO 的特例。

RLVR稳定性与Winner Advantage Policy Optimization的梯度视角

Hugging Face Daily Papers

本文分析了RLVR训练中的token级梯度动态，揭示了优势符号与token概率如何共同影响更新稳定性，并提出了Winner Advantage Policy Optimization（WAPO），该方法仅在正优势的完成序列上执行裁剪更新，以提高稳定性。

不要偷看答案：面向无标签 RLVR 的结果掩码组相对策略优化

arXiv cs.AI

本文提出 OM-GRPO，一种无标签 RLVR 框架，通过对答案片段上的梯度进行掩码，将奖励估计与策略优化解耦，并引入对比增强奖励（Contrast-Augmented Reward），无需额外采样即可细化奖励估计。该框架在多种推理基准上持续优于现有无标签方法，并与有监督的 ground-truth 奖励训练表现相当。