通过近未来引导弥合在线蒸馏中的推理轨迹

# 通过近未来引导弥合在线策略蒸馏中的推理轨迹

**摘要**

在线策略蒸馏（On-Policy Distillation, OPD）通过让学生在教师监督下从其自身策略采样的轨迹上进行训练，提升了大语言模型的推理能力。尽管OPD作用于轨迹，但其学习信号仍然是token级别的：它通过高损失标记识别偏差，并通过局部反向KL校正进行修复。我们表明，这种“轨迹采样但token学习”的机制无法可靠地将学生轨迹向教师轨迹靠拢。大约30%的高损失标记属于低散度区间，表明其中许多是表层形式不匹配而非真正的推理分支。此外，即使是真正分叉的标记，也很难通过孤立的token级监督来修复，因为推理失败往往表现为短视距的分布漂移。我们提出**轨迹感知型OPD（TOPD）**，它利用近未来轨迹信息识别真正的分叉状态，并将引导分布到多个未来标记上。实验表明，抑制非分叉的高损失标记将标准OPD的平均准确率从47.8%提升至48.2%，而TOPD进一步将性能提升至52.2%，在AIME24上从60.0%提升至63.3%，在AIME25上从46.7%提升至53.3%。

---

# 通过近未来引导弥合在线策略蒸馏中的推理轨迹

Yuxuan Jiang¹  Francis Ferraro¹  
¹马里兰大学巴尔的摩县分校  
[email protected]

## 1 引言

在线策略蒸馏（OPD）已成为现代大语言模型（LLM）后训练管线的基石（Agarwal et al., 2024；Tan et al., 2024）。其有效性已得到DeepSeek-V4（DeepSeek-AI, 2026）、MiMo（Xiao et al., 2026）和Qwen-3（Yang et al., 2025）等工业成果的验证，在这些工作中，OPD与监督微调（SFT）或基于可验证奖励的强化学习（RLVR）一同作为关键组成部分，进一步榨取推理性能。

![图1](https://arxiv.org/html/2606.00305#S1.F1)  
**图1：** 标准OPD与TOPD概览。左：高损失token（如“and”）可能是噪声候选，反向KL OPD可能陷入逐token学习的陷阱，局部token修正无法修复未来轨迹。右：TOPD使用短窗口OT对齐注入轨迹级引导，推动学生延续走向教师路径。

OPD通过让学生在其自身策略采样的轨迹上接受监督，为改进推理模型提供了一种自然的方法。由于这些轨迹反映了学生实际访问的状态，高损失标记提供了有用的信号，指示学生可能在何处偏离教师。标准的反向KL修正随后鼓励学生远离这些低概率动作，向教师偏好的行为靠拢（Lu and Lab, 2025）。这种token级机制使OPD成为优化推理轨迹的一种有效且实用的方法。

然而，我们发现OPD无法可靠地将学生的推理轨迹向教师轨迹靠拢。如图1所示，OPD在轨迹级推理修正中面临两种紧密相关的失效模式：高损失标记可能对应虚警，更关键的是，模型可能陷入逐token学习过程，局部修正无法恢复整体推理路径。

首先，我们发现高损失标记并不总是对应真正的推理分歧。尽管高损失标记反映了教师和学生局部预测之间的强烈分歧，但这并不一定意味着两者从该点起将遵循高度分叉的推理轨迹。例如，图1中的token“and”产生高损失主要是因为教师偏好诸如“then”之类的连接表达，而后续的推理过程几乎相同。我们的短窗口探测结果表明，token级损失与近未来轨迹散度仅有弱对齐，并且相当一部分高损失标记实际上是低散度的虚警。此外，忽略这些虚警反而能提升OPD性能，表明它们不仅未能提供有用的监督，还可能主动干扰推理修正。

更重要的是，即使识别出了真正的分歧点，单token反向KL修正仍然难以修复整个推理轨迹。多步推理失败很少表现为孤立的token错误；相反，它们通常在短未来窗口内逐渐演变为分布漂移。图1展示了这种逐token学习陷阱：在5+2×3的例子中，OPD逐渐将局部token从错误的“2”修正为“(”，并进一步调整附近符号，但模型仍继续生成“is 7”，表明底层推理轨迹并未真正回到教师引导的路径5+(2×3)上。换句话说，局部的token修正并不能有效地重塑学生在相同前缀下的近期转移分布。

基于这些观察，我们提出**轨迹感知型OPD（TOPD）**。TOPD利用近未来轨迹信息在局部token修正与推理轨迹演化之间搭建桥梁，帮助OPD克服token级学习与轨迹级推理修正之间的错配。具体而言，TOPD首先比较由相同前缀生成的教师与学生短窗口延续，以识别真正的轨迹分叉状态并滤除高损失虚警。然后，它使用基于OT的轨迹对齐将未来轨迹方向注入学习目标，使学生不仅学会如何修正当前token，还学习其后续推理轨迹应如何向教师路径靠拢。通过这种方式，OPD的监督从孤立的token修正扩展到短窗口轨迹修正，从而实现对推理轨迹更直接的优化。我们的贡献总结如下：

- **这项工作识别出OPD中token级监督与轨迹级推理修正之间的根本错配。** 尽管OPD以token级反向KL监督进行训练，但多步推理需要轨迹级的错误检测和路径修复，而token级监督无法可靠提供。
- **我们的实证分析揭示了由这种错配导致的两种失效机制。** 探测结果表明，约30%的高损失标记实际上是低散度虚警，表明高损失并不总是对应真正的轨迹分歧。我们进一步识别出逐token学习陷阱，即单token修正不足以充分修复未来的推理轨迹。
- **我们引入了一种轨迹级引导原则，将未来轨迹信息注入多个token的损失中。** OPD不应将监督局限于局部token修正，而应将教师的近未来轨迹信息分布到短窗口训练目标中。基于这一原则，使用短窗口OT对齐将教师-学生路径差异注入损失，鼓励学生的未来推理路径向教师轨迹靠拢。

## 2 当Token级OPD无法重定向推理轨迹时

原则上，在线策略蒸馏旨在使学生的推理**轨迹**与教师的对齐。尽管通过token级损失来表述，但OPD的成功隐含地依赖于两个基本能力：识别学生**何处**发生分歧，以及后续**修正**推理路径的能力。然而，我们识别出标准OPD中的两种关键失效模式，表明token级监督在结构上与这些要求不一致。

### 2.1 信息丰富但粗糙：高损失Token并不总是轨迹关键的

![图2](https://arxiv.org/html/2606.00305#S2.F2)  
**图2：** 近未来散度分析。高损失token的平均OT距离更大，但与随机和低损失token存在显著重叠，表明token级损失是指示轨迹散度的信息丰富但带有噪声的指标。

现有在线策略蒸馏中一个常见的启发式方法是：高损失标记标记了需要强修正的轨迹关键分歧点。然而，这一假设往往很脆弱。我们观察到，高token损失常捕捉到良性的表层不匹配——例如风格偏好或等价的符号形式——而非真正的逻辑偏差。因此，高损失标记可能只表示局部师生不匹配，而不意味着未来推理路径会发生分歧。

为考察这一现象，我们使用Qwen3-30B-A3B-Instruct-2507作为教师和Qwen3-4B-Instruct-2507作为学生进行短窗口探测分析，学生轨迹由从OpenThoughts3采样的提示生成。对于每条轨迹，我们比较高损失、随机和低损失token位置诱导的近未来延续，并使用短窗口（长度K=50个token）OT距离作为轨迹级散度度量。图2显示，高损失token的平均OT距离确实明显更大，表明token级损失大致反映了未来轨迹散度。具体而言，高损失token的OT距离中位数为0.566，而随机token为0.361，低损失token为0.315。这表明OPD背后的核心直觉——将高损失token作为修正目标——在统计上是有意义的。

然而，token级损失仍然是实际轨迹散度的弱且含噪的预测器。token损失与近未来OT距离之间的相关性有限（皮尔逊r=0.126，斯皮尔曼ρ=0.143），且高损失token与低散度区域之间存在显著重叠（更多细节见附录A）。特别地，大约29.23%的高损失token落在由低损失OT距离上四分位数定义的低散度典型范围内。这些token对应的是不显著改变后续推理轨迹的局部风格或表层形式不匹配。

**要点**：虽然token级损失是策略差异有用的首阶指标，但它仍然是一个**异常粗糙的代理**，缺乏结构精确性。相当一部分高损失token在统计上与良性的低散度步骤不可区分，模糊了真正推理分叉与无害局部变化之间的边界。

### 2.2 局部Token修正不能保证轨迹修正

更重要的是，即使识别出真正的分歧点，在单个token上施加强反向KL惩罚往往也不足以重定向推理轨迹。这种局部监督主要鼓励模型在当前步骤匹配教师的分布，却无法确保后续生成与教师意图的推理路径对齐。简而言之，现有OPD方法可以识别学生**在何处**分歧，但token级监督仍不了解学生**应如何**在之后的推理轨迹中导航。

为说明此问题，我们设计了一个局部轨迹修正设置。对于每条轨迹，我们首先使用上述步骤识别一个分歧点。然后回退一个位置，将原始提示和该位置之前的学生生成固定为前缀。基于相同前缀，我们重新生成长度固定（50个token）的延续，并仅在这段延续上计算反向KL OPD损失用于模型更新。更新后，模型从相同前缀重新生成延续，并比较其与教师延续的轨迹散度。为使反向KL优化的局部效果更易观察，我们在相同前缀上执行多次连续更新。

#### 案例研究。

图3展示了一次局部修正失败的情况。给定提示“What is 5+(2×3)?”当前前缀为“5+”。在此位置，教师期望的延续是“(2×3)=6”，因此下一个token应为左括号“(”，这也是教师自身未来轨迹的开始。相比之下，学生原始生成以token“2”开始，并沿着错误路径计算5+2=7，最终得到7×3=21。

在局部OPD更新后，学生确实在分歧位置被修正，生成了教师期望的左括号“(”。然而，这一局部修正并未改变后续的转移分布。在下一个位置，学生未能继续生成教师期望的2×3结构，反而生成了“)”，然后返回其原始错误路径，产生2=7。换言之，OPD成功改变了当前token，但并未使模型进入与教师一致的近未来轨迹。

此案例揭示了我们称之为**逐token学习陷阱**的现象。OPD成功修正了当前分歧token，但后续延续仍然未能进入与教师一致的轨迹。相反，模型漂移至一个新的错误分支，其中诸如“)”等未来token以及后续延续需要额外的局部修正轮次。结果，反向KL监督仅通过一次编辑一个位置来修复轨迹，而非直接诱导一个连贯的轨迹级偏移以接近教师路径。这表明局部反向KL监督改变了单个token的偏好，但不足以重塑模型在修正前缀下的近未来转移动态。

**要点**：逐Token学习陷阱：将推理修正视为一系列独立的token级目标不足以实现轨迹级对齐。只要监督仍是逐点的，模型就无法逃脱错误的推理分支，因为它们缺乏全局视角来纠正后续的**近未来推理漂移**。有意义的轨迹修复需要从局部token编辑转向全局的、对转移敏感的**对齐**。

![图3](https://arxiv.org/html/2606.00305#S2.F3)  
**图3：** 逐token学习陷阱的案例研究。教师期望通过修正“(”引导学生走向5+(2×3)=11，但学生却进入了另一个错误分支，表明局部token修正无法保证轨迹重定向。

## 3 方法论

我们提出**轨迹感知型OPD（TOPD）**。TOPD首先识别出会诱发近未来推理漂移的**真正分歧点**，然后将短窗口师生轨迹差异注入训练目标。这使学生不仅学会修正哪个token，还能学会如何向教师的近未来轨迹靠拢。