论文页面 - 通过直接在线策略蒸馏实现弱到强泛化

来源：https://huggingface.co/papers/2607.05394

RLVR 虽然强大，但为每个更大的目标模型重复执行成本高昂：每个目标必须生成自己的轨迹，并从稀疏的结果奖励中重新发现有用的学习信号。

在小型弱模型上运行 RL 能否提升更强的学生模型——即使学生模型在 RL 后已经超越了小模型？

我们发现可以——但并非通过蒸馏弱模型本身。

今天，我们很高兴分享 Direct-OPD，由 SIA-Lab 开发，这是清华大学智能产业研究院（AIR）与字节跳动 Seed 的联合实验室。 https://bytedtsinghua-sia.github.io/Direct-OPD/

我们的替代方案很简单：

1. 在小型模型上运行 RL，探索和轨迹生成成本更低。
2. 将模型的 RL 前后检查点视为教师对，其差异捕捉了通过 RL 学习到的方向。
3. 使用更强学生模型自身的轨迹，在线蒸馏这一策略偏移——即 RL 改变的部分。

在 AIME24 的一个设置中： • 1.5B 教师对：RL 前和 RL 后检查点（RL 后的教师得分：51.3） • 7B 学生转移前：56.7 • 7B 学生 + 普通在线策略蒸馏：~50 • 7B 学生 + Direct-OPD：63.1（+6.4）

7B 学生模型在开始时已经比 RL 后的教师模型更强。蒸馏教师模型本身会使学生变差。但蒸馏教师对通过 RL 学到的策略偏移可以进一步提升。

换句话说，一次 RL 运行的可复用成果不仅是最终检查点——还可以是由 RL 前后检查点对编码的策略偏移。