preference-based-rl

S2T-RLHF提出了一种句子到令牌的奖励分解框架，通过在句子粒度上分配序列级奖励，提高了偏好型RLHF的训练稳定性和鲁棒性，避免了过度细粒度的令牌级精化带来的不稳定性。