staleness

引入了陈旧自适应信任区域（SAT），通过根据陈旧性自适应控制更新间隔来稳定异步强化学习。在基于Qwen3-30B-A3B-Base的解耦异步强化学习设置上进行了评估，取得了改进的结果。

本文提出 AsyncOPD，一种完全异步的在策略蒸馏流程，用于大语言模型，系统研究了陈旧策略数据的影响，并提出了估计器设计，使训练吞吐量提升 1.6-3.8 倍，同时保持相当的准确率。