超越模仿：基于推理进展过滤策略蒸馏

# 超越模仿：通过推理进度过滤策略内蒸馏

来源：https://arxiv.org/html/2608.19408

###### 摘要

策略内蒸馏（On-policy distillation, OPD）已成为训练后语言模型的有效框架，它通过将学生模型生成的轨迹与教师模型提供的密集词元级监督相结合来实现。然而，OPD隐含地假设教师提供的奖励是推理进度的合适代理，因此在策略优化过程中对所有教师反馈一视同仁。但在实践中，这一假设并非总是成立。我们观察到，教师提供的奖励常与真实的推理进度相冲突：具有清晰推理进展的步骤，仅仅因为偏离教师的输出，仍可能获得较低的蒸馏奖励。为解决这种不匹配问题，我们提出了面向推理进度感知的策略内蒸馏奖励过滤（Reasoning-Progress-Aware Reward Filtering for On-Policy Distillation, R²-OPD）。该方法构建了两个轨迹内推理片段的排序：一个基于教师提供的奖励，另一个基于独立估计的进度奖励。当两个排序不一致时，选择性地抑制蒸馏奖励，从而减少与推理进度相冲突的监督，同时保留有效的教师指导。我们的方法在标准OPD基础上展现出一致的改进，尤其是在推理性能方面。

## 引言

知识蒸馏将能力强大的教师模型的预测行为转移给初始的学生模型，为无需承担完整训练或部署教师模型的成本来改进语言模型提供了实用途径（12 (https://arxiv.org/html/2608.19408#bib.bib1); 18 (https://arxiv.org/html/2608.19408#bib.bib2)）。对于自回归生成，传统蒸馏通常在静态的教师生成数据集上进行，这会导致训练轨迹与推理轨迹之间的暴露偏差（3 (https://arxiv.org/html/2608.19408#bib.bib3)）。策略内蒸馏（On-policy distillation, OPD）通过将学生生成的响应作为训练输入，并在学生遇到的特定状态下查询教师来解决这种不匹配。结合词元级分布匹配和策略优化，OPD在整个响应上提供密集的监督，成为训练后推理模型和模型合并的一个有前景的范式（29 (https://arxiv.org/html/2608.19408#bib.bib16); 35 (https://arxiv.org/html/2608.19408#bib.bib4)）。

尽管有这些优势，词元级教师监督并不直接衡量一个推理片段是否推进了解决过程。在每个解码步骤，OPD奖励学生保持接近教师分布，隐含地将教师相似性作为推理和答案质量的代理（11 (https://arxiv.org/html/2608.19408#bib.bib19)）。这种代理可能不可靠，因为学生生成的片段即使偏离教师轨迹，也可能增加到达正确答案的概率（16 (https://arxiv.org/html/2608.19408#bib.bib20)）。相反，一个类似教师的片段不一定对最终解决方案做出有意义的、简洁的进展。因此，一个有建设性的推理步骤可能仅仅因为偏离教师而收到不利的蒸馏指导。统一应用此类未经校准的信号，有抑制有效推理路径的风险，而非有效地传递功能性知识（24 (https://arxiv.org/html/2608.19408#bib.bib21)）。

这一观察促使我们区分蒸馏兼容性和推理进度。前者衡量与教师的一致性，后者衡量一个中间状态改变解决任务可能性的程度。过程奖励通过从连续的推理状态采样后续步骤，并比较其解决概率以估计每个片段的边际贡献，为推理进度提供了一个自然的无教师代理指标（15 (https://arxiv.org/html/2608.19408#bib.bib18); 20 (https://arxiv.org/html/2608.19408#bib.bib7); 30 (https://arxiv.org/html/2608.19408#bib.bib11)）。然而，直接将原始过程奖励与词元级散度结合可能无效，因为这两个信号运行在不同尺度上，并表现出细粒度噪声。前者继承自有限数量后续步骤的蒙特卡洛噪声，而后者可能随局部词汇选择和教师不确定性而波动。

在这项工作中，我们提出了面向推理进度感知的策略内蒸馏奖励过滤（Reasoning-Progress-Aware Reward Filtering for On-Policy Distillation, R²-OPD），这是一个用于面向推理的OPD的新型奖励过滤框架。在连续的推理片段上，R²-OPD首先合并具有符号一致的过程奖励的相邻推理片段。此过程消除了对噪声内部边界估计的依赖，并产生了更稳定的奖励校准单元。然后，它聚合每个合并片段内的词元级散度，并比较由推理进度和由教师散度引起的相对排序。当一个进度更高的片段因偏离教师而受到更强的惩罚时，这两个信号表现出局部排序冲突。R²-OPD并非替代OPD奖励或将过程奖励作为新的优化目标添加，而是仅将此冲突用作可靠性测试，并屏蔽最不一致片段的蒸馏奖励。通过这种方式，该方法在教师指导与推理进度一致的地方保留了它，同时减少了可能阻碍生产性推理的监督。这种方法不仅使教师指导更有效，而且在复杂推理场景中显著提升了OPD性能。

我们的贡献如下：
- • 我们识别了面向推理的OPD的一个常见故障模式，并表明统一应用的蒸馏奖励可能提供误导性监督。通过引入R²-OPD，它采用独立估计的过程奖励构建无教师参考，检测局部进度-蒸馏排序冲突，并选择性地屏蔽不可靠的片段级监督。
- • 我们开发了符号一致的过程奖励合并和片段级散度平均化，并提供了理论结果，刻画了内部边界估计误差的抵消和弱相关性下局部散度方差的减少。
- • 我们通过实验证明，过滤进度冲突的蒸馏信号能持续提升推理性能，优于标准OPD。

## 预备知识

### 策略内蒸馏

设 $x$ 和 $y=(y_1,...,y_T)\sim\pi_S(\cdot\mid x)$ 分别表示提示和从学生模型策略内采样得到的响应。令 $h_t=(x, y_{<t})$ 为在步长 $t$ 的上下文，$\pi_S(y_t\mid h_t)$ 为学生策略，$p_\theta(y_t\mid h_t)$ 为教师策略。标准OPD的词元级目标是最小化在学生轨迹上平均的词元级KL散度：
$$ \mathcal{L}_{\mathrm{OPD}} = \mathbb{E}_{x,\,y\sim\pi_S(\cdot\mid x)} \left[ \sum_{t=1}^T D_{\mathrm{KL}}\!\left(p_\theta(\cdot\mid h_t) \;\|\; \pi_S(\cdot\mid h_t)\right) \right] $$
在实践中，常用支持集受限的反向KL近似：$\mathcal{S}_t$ 包含学生在上下文 $h_t$ 下概率最高的 $H$ 个词元，损失为 $\ell_t^{\mathrm{KL},\mathcal{S}_t} = -\log \pi_S(y_t\mid h_t) + \sum_{y'\in\mathcal{S}_t} \frac{p_\theta(y'\mid h_t)}{\sum_{y''\in\mathcal{S}_t} p_\theta(y''\mid h_t)} \log \pi_S(y'\mid h_t)$。

### 用于推理的过程奖励

过程奖励为每个中间状态 $s_j$（对应到某个推理片段末尾的上下文）分配一个实值奖励 $\mathrm{PR}(s_j)$，表示从该状态解决任务的概率。给定一个响应 $y$ 被划分为 $n$ 个推理片段 $[1:n]$，我们使用蒙特卡洛估计：对每个边界 $j$，从状态 $s_j$ 采样 $N$ 条后续 $y^{(j)}_k$，并估计 $\mathrm{PR}(s_j) \approx \frac{1}{N}\sum_{k=1}^N \mathbb{1}[\text{verify}(y^{(j)}_k)]$，其中验证器检查答案正确性。在本文中，$\mathrm{PR}$ 表示真实过程奖励，$\widetilde{\mathrm{PR}}$ 表示其样本估计。我们关注 $\widetilde{\mathrm{PR}}$ 的相对排序，而非其绝对值。

## 方法

### 推理片段划分

我们采用基于标点符号的启发式方法将响应 $y$ 划分为推理片段：在句号、问号或换行符处分割，并要求每个片段至少包含 $n_{\min}$ 个词元。令 $n_i$ 为响应 $i$ 的片段数。这产生了一组离散的推理步骤，用于后续的进度评估和奖励过滤。

### 基于排序的冲突检测

对于每个片段 $j$，我们计算两个指标：其过程奖励进度 $\widetilde{\mathrm{PR}}_j$ 和其片段级平均蒸馏损失 $\kappa_j = \frac{1}{|y_j|}\sum_{t \in y_j} \ell_t^{\mathrm{KL},\mathcal{S}_t}$。我们寻找违反以下预期关系的配对：进度更高应与蒸馏损失更低相关，即 $\widetilde{\mathrm{PR}}_a > \widetilde{\mathrm{PR}}_b$ 时预期 $\kappa_a < \kappa_b$。违反此预期的配对 $(a,b)$ 被视为局部排序冲突。

这并非假设教师接近度直接衡量片段质量的标准，而是用作操作诊断。图2 (https://arxiv.org/html/2608.19408#Sx3.F2) 展示了一个违反此预期关系的典型案例。过程奖励和片段级平均蒸馏损失尺度不同，且无需跨轨迹校准。因此，我们在每个响应内比较它们的相对顺序，而非要求其绝对值直接可比（4 (https://arxiv.org/html/2608.19408#bib.bib13); 23 (https://arxiv.org/html/2608.19408#bib.bib14)）。这种响应内排序对轨迹级偏移和正缩放不敏感，并减少了绝对分数校准噪声的影响。排序决定了进度与平均蒸馏损失之间关系的预期方向，而公式 (9) (https://arxiv.org/html/2608.19408#Sx3.E9) 中的原始分数差量化了每个检测到的冲突的严重程度。

对于每个响应 $i$，我们排除初始前缀片段 ($j=1$)，并按过程奖励进度 $\widetilde{\mathrm{PR}}_j$ 降序对其余片段排序，平局时按损失 $\kappa_j$ 升序打破。令 $\rho_i$ 为排序后的片段索引序列。我们形成相邻对 $\mathcal{P}_i = \{ (\rho_{i,r}, \rho_{i,r+1}) \mid \widetilde{\mathrm{PR}}_{\rho_{i,r}} > \widetilde{\mathrm{PR}}_{\rho_{i,r+1}} \}$，其中邻接性定义在排序序列上而非时间顺序上。对于每对 $(a,b) \in \mathcal{P}_i$，如果进度更高的片段 $a$ 产生了更高的蒸馏损失，则发生顺序违反，量化为：
$$ v_i(a,b) = \left[ (\widetilde{\mathrm{PR}}_a - \widetilde{\mathrm{PR}}_b)(\kappa_a - \kappa_b) \right]_+ $$

片段 $j$ 的不一致性分数在其参与的所有相邻对中累加：
$$ \mathrm{Inc}_j = \sum_{(a,b) \in \mathcal{P}_i : j \in \{a,b\}} v_i(a,b) $$

### 片段屏蔽

屏蔽应用于包含至少 $\max(3, n_{\min})$ 个片段且 $\|\mathcal{P}_i\| > 0$ 的合格响应。给定屏蔽比例 $q\%$，响应 $i$ 的预算为 $b_i = \lceil \frac{q}{100} n_i \rceil$。我们将候选片段 ($j \geq 2$) 按 $\mathrm{Inc}_j$ 降序排序，并选择不一致性分数严格为正的前 $b_i$ 个片段进行屏蔽。令 $\mathcal{M}_i$ 表示响应 $i$ 中选定的片段索引集。词元级掩码定义为：如果词元 $t$ 属于任何片段 $j \in \mathcal{M}_i$，则 $M_t^{(i)} = 0$，否则 $M_t^{(i)} = 1$。令 $Z_i = \sum_{t=1}^{T_i} M_t^{(i)}$ 表示响应 $i$ 中未被屏蔽的词元数。应用此掩码得到R²-OPD目标：
$$ \mathcal{L}_{\mathrm{R^2\text{-}OPD}} = \mathbb{E}_{x_i,\,y_i\sim\pi_S(\cdot\mid x_i)} \left[ \frac{1}{Z_i} \sum_{t=1}^{T_i} M_t^{(i)} \ell_t^{\mathrm{KL},\mathcal{S}_t,(i)} \right] $$
因此，被屏蔽的词元既不贡献于损失分子，也不贡献于归一化分母，保持每个响应的损失尺度在不同屏蔽比例下具有可比性。除屏蔽和相应的重归一化外，策略优化过程保持不变。

## 实验

表1：以JustRL为教师模型时，DeepSeek-R1-Distill-Qwen-1.5B上的OPD性能。

### 实验设置

我们的主要实验使用DeepSeek-R1-Distill-Qwen-1.5B作为学生模型，JustRL-1.5B作为教师模型。如19 (https://arxiv.org/html/2608.19408#bib.bib30) 所强调的，有效的蒸馏需要具有互补知识的教师，而不仅仅是更大的参数规模。前者是从DeepSeek-R1蒸馏而来的紧凑模型，继承了其面向推理的训练方案（8 (https://arxiv.org/html/2608.19408#bib.bib27)），而后者已经证明简单的RL方案可以激发1.5B模型的强大推理性能（9 (https://arxiv.org/html/2608.19408#bib.bib26)）。为评估我们的方法是否能泛化到不同模型家族，我们进一步在异构设置上进行评估，使用Qwen3-1.7B（37 (https://arxiv.org/html/2608.19408#bib.bib29)）作为学生模型，e3-1.7B（27 (https://arxiv.org/html/2608.19408#bib.bib28)）作为教师模型。

所有模型在去重的DAPO-Math-17K数据集（19 (https://arxiv.org/html/2608.19408#bib.bib30)）上训练一个周期，使用AdamW优化器，学习率为 $5 \times 10^{-6}$，全局批量大小为64。最大提示长度和响应长度分别设置为1,024和7,168个词元。对于支持集受限的反向KL目标，我们设置 $H=16$，并在每个解码步骤从学生模型概率最高的16个词元构建 $\mathcal{S}_t$。

下游推理性能在AIME 2024（14 (https://arxiv.org/html/2608.19408#bib.bib33)）、AIME 2025（22 (https://arxiv.org/html/2608.19408#bib.bib34)）和OlympiadBench（10 (https://arxiv.org/html/2608.19408#bib.bib35)）上评估。对于基于排序的冲突检测和片段屏蔽，我们对每个评估的边界生成 $N_{\mathrm{eval}}=8$ 个答案诱导的推演，采样温度为0.7，$\text{top-}k=50$，$\text{top-}p=1.0$，最大推演长度为300个词元。冲突检测的超参数设置为 $S_{\min}=3$ 和 $n_{\min}=3$，片段级屏蔽比例为 $q=30\%$。完整的优化、推演构建和过滤细节见附录B（https://arxiv.org/html/2608.19408#A2）。

### 评估基准

我们将R²-OPD与标准OPD和四种近期研究进行比较。
**OPD** 对从学生模型策略内采样的轨迹应用来自教师的密集词元级反向KL监督（1 (https://arxiv.org/html/2608.19408#bib.bib5)）。
**E-OPD** 在教师分布具有高熵的位置用前向KL增强反向KL训练，旨在保留合理的替代方案并避免模式崩溃（17 (https://arxiv.org/html/2608.19408#bib.bib22)）。
**TIP-OPD** 使用学生熵和教师与学生之间的散度表征词元重要性，保留不确定位置和学生自信地与教师不一致的低熵位置（36 (https://arxiv.org/html/2608.19408#bib.bib23)）。
**Uni-OPD** 通过数据平衡解决学生探索不足问题，并使用结果引导的边际校准处理不可靠的教师监督（13 (https://arxiv.org/html/2608.19408#bib.bib25)）。
**IW-OPD** 研究OPD中的位置偏差，并根据累积的学生-教师差异对词元加权，强调早期位置，同时降低后期位置不可靠监督的权重（34 (https://arxiv.org/html/2608.19408#bib.bib24)）。

我们使用任务特定的答案验证器报告任务准确性。对于每个基准，avg@4对四个采样响应的准确性取平均，而pass@4衡量四个响应中是否至少有一个正确。评估期间，响应以温度为1.0、top-k为50、top-p为0.95采样，最大响应长度设置为8,192个词元，与文献一致。

表2：R²-OPD在Qwen3-1.7B上以e3-1.7B为教师模型的迁移性能。

### 主要结果

我们在表1 (https://arxiv.org/html/2608.19408#Sx4.T1) 中总结了DeepSeek-R1-Distill-Qwen-1.5B模型上的结果比较。它显示R²-OPD取得了最佳的综合性能，avg@4为35.06，pass@4为51.83。它分别优于标准OPD 2.51和4.46个百分点，在两个AIME基准上观察到最大增益。在近期的OPD变体中，Uni-OPD是整体上最强的竞争者，但R²-OPD在avg@4上超过它4.28个百分点，在pass@4上超过5.17个百分点。Uni-OPD在OlympiadBench上仍然更强，表明进度感知过滤的益处因基准而异。E-OPD和TIP-OPD相对较弱的AIME结果反映了熵敏感监督与响应长度约束之间的相互作用。强调不确定位置可以保留替代推理，但也可能增加在具有挑战性的问题上产生冗长或未完成推理的可能性。Uni-OPD可能也存在……