rollout-curation

来自Qwen背后的阿里巴巴团队的GEOALIGN指出，LLM强化学习中的不稳定性通常源于少数不良的rollout导致更新方向冲突，并提出了一种基于方向一致性来筛选rollout的轻量级方法，从而提升训练稳定性和性能。