kl-regularization

该论文提出，在KL正则化控制下，策略的对数几率隐含了其运行框架（提示、工具、控制逻辑）的偏好，部署性能等于运行框架的潜力上限减去策略失配；在MiniWoB++和Terminal-Bench Lite上的实验证明，仅用固定模型比较运行框架无法预测训练收益，而预先测得的上限与失配程度能够准确预测训练收益。

这篇论文研究了RLVR中的off-policy数据问题，证明了在覆盖性与局部表达性条件下，完整未来KL信用可使精确近端优化器成为更新的唯一平稳策略，并提出ProximalKL方法，在Qwen3-1.7B和Qwen3-4B上相比GRPO在数学基准上最高提升2.58%的微平均准确率。

一篇探讨KL正则化策略优化的研究论文，可能与RLHF（基于人类反馈的强化学习）相关，发布于arXiv。

本文研究了KL正则化的上下文强盗问题，并表明贪婪采样能够在奖励和偏好反馈下实现对数遗憾，而无需显式依赖于eluder维度。

本文介绍了一种博弈论的微调语言模型方法，该方法优化了奖励与偏离参考策略之间的权衡，并提供了一种设置KL正则化系数的原则性方法。

提出了LARA框架，用于安全的推理时对齐。该框架通过拉格朗日对偶化，从单独的奖励和成本模型中推导出增强奖励，从而在不重新训练的情况下改善有用性-无害性权衡。

本文提出SDPG，一种自蒸馏策略梯度框架，结合在线策略自蒸馏、验证器优势及KL正则化，以提升强化学习的稳定性和性能。