标签
一篇研究单次 rollout 异步强化学习方案的论文，该方案结合 Muon 优化器、按 token 平均的损失、截断重要性采样和辅助惩罚项，用于训练长时程的仓库级问题解决智能体，并在两个模型家族中展现出优于基线的训练成功率。
本文介绍了Retroactive Advantage Correction (RAC)，这是一种用于延迟感知RLHF的闭合形式偏差校正方法，通过将延迟奖励排队并使用V-trace风格的裁剪残差更新重新注入，来处理异步奖励信号。
本文提出 AsyncOPD，一种完全异步的在策略蒸馏流程，用于大语言模型，系统研究了陈旧策略数据的影响，并提出了估计器设计，使训练吞吐量提升 1.6-3.8 倍，同时保持相当的准确率。
本文探讨了大型语言模型（LLM）异步强化学习中的旧 logits 缺失问题，提出了精确与近似的修正方法，以提升训练稳定性和性能。