标签
S2T-RLHF提出了一种句子到令牌的奖励分解框架，通过在句子粒度上分配序列级奖励，提高了偏好型RLHF的训练稳定性和鲁棒性，避免了过度细粒度的令牌级精化带来的不稳定性。
LC-ERD是一个框架，从LLM生成的推理链中挖掘潜在逻辑，将全局奖励分解为步骤级信号，实现无需人工标注的自我进化推理。它通过变分逻辑势和多智能体值分解来解决标签噪声、粗粒度监督和分布崩溃问题。