auxiliary-branches

提出了W2SPO，一种离策略强化学习方法，通过将来自较弱模型的短辅助片段注入目标模型轨迹，以多样化探索并改善推理，在数学基准测试上实现了更好的性能和训练加速。