kl-regularization

提出了LARA框架，用于安全的推理时对齐。该框架通过拉格朗日对偶化，从单独的奖励和成本模型中推导出增强奖励，从而在不重新训练的情况下改善有用性-无害性权衡。

本文提出SDPG，一种自蒸馏策略梯度框架，结合在线策略自蒸馏、验证器优势及KL正则化，以提升强化学习的稳定性和性能。