标签
本文介绍了对比策略优化（CPO），该方法利用参考引导和普通生成分布之间的token级对比差异，在具有可验证奖励的强化学习中进行正确性感知的优势塑造。CPO在域内和域外基准测试中均优于基于熵的RLVR方法。
PASS是一种中间件，它修复了LLM推理器过程监督强化学习中的三种病理现象，通过独立标准化流、按值分块和使用平均价值密度来改进GRPO。它在数学推理和多跳问答中显示出持续的增益。