preference-based-rl

介绍SP3O，一种新颖的无需奖励模型、无需评论家的基于梯度的偏好强化学习算法，利用片段级偏好，在机器人控制和LLM微调中展现出改进的性能，尤其是在长时程任务中。

本文介绍了LEMUR，一个结合多目标强化学习与基于偏好的多人类反馈学习的框架，无需预定义奖励函数即可学习帕累托最优策略。

S2T-RLHF提出了一种句子到令牌的奖励分解框架，通过在句子粒度上分配序列级奖励，提高了偏好型RLHF的训练稳定性和鲁棒性，避免了过度细粒度的令牌级精化带来的不稳定性。