论文页面 - The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation

来源：https://huggingface.co/papers/2609.36484

摘要

On-policy distillation（OPD，在线策略蒸馏）让学生模型在自己的轨迹上匹配教师模型的下一 token 分布来完成训练，并已取得显著的实证收益。其推广变体允许学生通过在输出空间中对一个隐式奖励进行外推，从而超越教师。然而，语言模型头会以各向异性的方式削弱这种变化：教师隐藏状态中编码的大部分变化，只有很小一部分权重能够抵达 logits；而输出空间外推所依赖的采样 token 对数概率比会注入噪声，外推又会放大这些噪声，导致训练不稳定。我们观察到，强化学习（RL）会使模型的内部表示相对其 base checkpoint 发生偏移，而这一偏移的方向可以在每一层上被度量。受此观察启发，我们提出了 RIDE（RL-Induced Direction Extrapolation，RL 诱导方向外推），它直接在表示空间中对 RL 引起的变化进行外推：在每一层和每个 token 位置上，RIDE 计算教师与其 pre-RL checkpoint 之间的残差，并将学生的隐藏状态回归到沿该残差方向、被推移到教师之外的目标上。在给定一条采样轨迹的条件下，这种回归等价于最大化一个由该残差定义的线性方向奖励，并配以以教师为中心的二次惩罚项，从而清楚地说明了目标函数如何沿着 RL 诱导的方向推动学生，同时限制其对教师的偏离。在覆盖不同规模、架构和预训练谱系的四组 base/RL 教师配对上，RIDE 在每一对上都接近或超过了 RL 训练得到的教师，也是唯一在均值上做到这一点的方法；并且它始终优于输出空间外推——后者只要教师接近其 base checkpoint，就会损害学生的表现。

项目页面：https://github.com/xixixixixxxx/RIDE

查看 arXiv 页面 (https://arxiv.org/abs/2609.36484)　查看 PDF (https://arxiv.org/pdf/2609.36484)　GitHub 0 (https://github.com/xixixixixxxx/RIDE)　加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.36484)

在你的 agent 中获取这篇论文：

hf papers read 2609.36484

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.36484，即可从本页链接该模型。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.36484，即可从本页链接该数据集。

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2609.36484，即可从本页链接该 Space。

包含此论文的合集 0

没有合集包含此论文

将此论文加入一个合集 (https://huggingface.co/new-collection)，即可从本页链接它。