kl-regularization

本文研究了KL正则化的上下文强盗问题，并表明贪婪采样能够在奖励和偏好反馈下实现对数遗憾，而无需显式依赖于eluder维度。

本文介绍了一种博弈论的微调语言模型方法，该方法优化了奖励与偏离参考策略之间的权衡，并提供了一种设置KL正则化系数的原则性方法。

提出了LARA框架，用于安全的推理时对齐。该框架通过拉格朗日对偶化，从单独的奖励和成本模型中推导出增强奖励，从而在不重新训练的情况下改善有用性-无害性权衡。

本文提出SDPG，一种自蒸馏策略梯度框架，结合在线策略自蒸馏、验证器优势及KL正则化，以提升强化学习的稳定性和性能。