标签
本文介绍了列表式策略优化（LPO），这是一种用于 RLVR 的方法，通过在响应单纯形上进行散度最小化来显式处理目标投影，从而提高大语言模型（LLM）的训练稳定性和性能。
本文指出了 GRPO 风格的大语言模型强化学习中存在的聚合偏差问题，并提出了平衡聚合（Balanced Aggregation, BA）方法。该方法通过对正负子集分别计算 token 级均值，从而提高了训练稳定性和最终性能。