并非所有发散都应被抑制：同策略蒸馏中的反事实可恢复性

# 并非所有分歧都应被抑制：在策略蒸馏中的反事实可恢复性
来源：https://arxiv.org/html/2608.04408

###### 摘要

在策略蒸馏（OPD）对学生在策略访问的轨迹进行密集监督，然而基于分歧的规则无法判定一个错误的先前片段是否仍然可纠正。我们将这一决策形式化为**反事实可恢复性**，并通过预算匹配的教师延续分支与回滚分支重放每个错误状态。根据二者的相对成功率，状态被分类为可恢复、不可逆但可避免、或模糊，这些标签指导训练是保留、回滚，还是以常规方式监督相应轨迹。在 AIME 分支诊断中，可恢复状态的平均延续减回滚效应为 0.185，而不可逆但可避免状态为−1.000，显示出相反的干预偏好。一个由分支推导出的可恢复性代理的 AUC 达到 1.000，显著优于单独使用分歧的 0.392。在冻结评估中，可恢复性感知控制取得了已记录的最强性能，在保留的 AIME2025 上达到 0.578 的成功率，而最佳基线为 0.517。它还将 AIME2024–2025 的平均@32 从 0.2656 提高到 0.3125，GPQA-Diamond 的平均@32 从 0.2702 提高到 0.3070。组件消融进一步表明，保留教师可纠正的先前片段提供了最大的单项贡献。这些发现确立了可恢复性作为 OPD 中选择性监督的一个基于结果决策变量。

## 引言

在策略蒸馏（OPD）在学生访问的轨迹上提供密集的教师监督，但一个错误可能留下一个仍可纠正的状态，也可能留下一个保留其前缀反而有害的状态。逐步加权使用师生分歧来减弱可疑监督的作用（Zhong et al.2026 (https://arxiv.org/html/2608.04408#bib.bib21)）；更广泛的分析将兼容性和轨迹动态识别为 OPD 的核心条件（Li et al.2026b (https://arxiv.org/html/2608.04408#bib.bib9)）。然而，分歧描述的是两个策略，而非回答错误之后应采取何种行动。

这一区别在顺序推理和工具交互场景中尤为重要，因为某一步动作会改变所有后续动作的上下文。偏差可能是局部的，允许教师纠正，也可能是结构性的伤害，使得剩余预算不足以恢复。将二者等同对待可能会丢弃有用的监督，或强化一条无法恢复的轨迹。

现有的 OPD 干预主要调节教师指导的数量、位置或调度。SOD 使用分歧的演化来重新加权步骤级监督（Zhong et al.2026 (https://arxiv.org/html/2608.04408#bib.bib21)）；课程轮次级指导修改教师和学生回合的混合方式（Li et al.2026a (https://arxiv.org/html/2608.04408#bib.bib8)）。这些方法为处理分布偏移提供了重要机制，但它们的可观测信号并未直接编码错误后所面临的因果问题：在相同资源下，延续是否优于回滚？答案取决于状态、剩余预算、动作历史和环境动态的共同作用。

参见图注图1：为什么仅靠分歧抑制是不够的。同样高的分歧可能发生在可修复前缀上，此时延续有帮助；也可能发生在不可恢复前缀上，此时回滚有帮助。因此，我们提出一个具体问题：在固定预算下，当教师从错误处继续时，它更有可能完成任务，还是当错误被回滚并重新采样分支时？我们将这一答案称为*可恢复性*。这种框架是有意诊断性的。它并不假定分支预言机是廉价的、其标签可以在线预测，也不假定使用预言机训练的策略能胜过传统 OPD。相反，它使分歧启发式背后的决策变得可观察且可证伪。

我们的方法基于重放的反事实分支。我们重建一个选定的错误前前缀，在匹配的生成和环境预算下运行教师延续分支与回滚分支，并比较它们的经验成功率。得到的标签与一个候选条件化的 OPD 主干配对：教师和学生对相同的可行动作集评分，避免无效动作的混杂，并使比较不依赖 token 对齐。在评估诊断预测时，我们进一步将分支探针与保留的分支结果分开，并记录获取预言机标签的额外成本。

我们的主要贡献是：

1. 1.我们指定了预算匹配的延续与回滚重放分支。所得到的协议将状态标记为可恢复、不可逆但可避免、或模糊。
2. 2.在记录的 AIME 分支诊断中，我们发现可恢复状态和不可逆但可避免状态具有相反的动作效应符号，并表明可恢复性代理比单独的分歧更具信息量。
3. 3.我们审计了一个预言机辅助控制，并在两个保留的 AIME 协议和 GPQA-Diamond 上评估了冻结适配器。在这些固定的正式评估中，记录的预言机始终优于 E0 控制，而组件消融确定保留是最大的单项贡献。

所有性能声明仍受提供的清单、种子数量和不匹配训练成本的约束。

## 相关工作

### 在策略蒸馏与干预粒度

OPD 不同于离线蒸馏，因为监督是在学生生成的轨迹上查询的。这减少了训练-测试状态不匹配，但使监督暴露于复合错误。SOD 通过根据分歧重新加权步骤级监督来应对（Zhong et al.2026 (https://arxiv.org/html/2608.04408#bib.bib21)）；轮次级指导则通过多轮 rollout 来调度干预（Li et al.2026a (https://arxiv.org/html/2608.04408#bib.bib8)）。这些方法确立了何时何地进行监督很重要。我们的问题是正交的：即使在固定的分歧或轮次下，一个错误状态是应当延续还是回滚？答案取决于环境反事实，而非仅取决于分歧。

本实现使用共享的可行动作候选和归一化的候选分布，使无效动作不会伪装成分数差异。由于 Qwen3.5-9B 学生和 Qwen3.5-27B 教师从不同的模型路径加载，实现保守地将其 token 序列视为不对齐；因此，记录的步骤信号是序列平均对数概率差，而非精确的 token 对齐分歧。我们将其视为诊断特征，而不是理论上精确的 token 级 SOD 再现。

### 候选动作与跨分词器可比性

智能体蒸馏可以在 token 级别比较模型分数或教师目标。当模型对相同动作文本进行不同的分词，或自由生成发出环境合法接口之外的动作时，这种比较是脆弱的。我们的候选条件化主干改为对共享的可行动作集进行评分，并在该集合内归一化每个模型的分数。因此，它使所选动作可审计，同时防止解析或合法性失败被误认为恢复效应。

这一方向是实验控制，而非普遍目标声明。候选分布的 JS 值对于衡量局部选择分歧是有用的，但它不被称为 token 级 KL，也不假定能解决分布偏移。SOD 复现使用的序列级差距明确是对 token 对齐设置的近似。这一澄清很重要，因为核心贡献问的是可观测分歧信号是否足以用于错误后决策，而不是新的归一化本身是否提升智能体性能。

### 反事实动作分析

反事实动作结果已被用于解释 RL 决策（Amitai, Septon, and Amir2024 (https://arxiv.org/html/2608.04408#bib.bib2)）。我们的使用在目的和协议上有所不同。我们重放一个观察到的错误状态，并在相同的剩余步骤和生成约束下比较两个可执行分支。得到的标签不是对策略的语义解释；它是一个面向决策的目标，用于询问纠正性监督是否应保留当前前缀。这一区别很重要，因为消耗额外教师 rollout 的诊断是预言机上界，而非在线部署方法。

智能体的恢复机制可以在推理时重试动作、修订计划或请求额外反馈。这里的反事实标签控制的是一个训练决策：保留一个轨迹片段以进行纠正性教师监督、回滚以重新采样，或在证据模糊时留给普通 SOD。因此，我们贡献了一个将恢复结果与 OPD 监督联系起来的受限协议。我们并不声称提出了通用恢复规划器、仅状态预测器或学习到的推理时恢复策略。

参见图注图2：可恢复性感知的在策略蒸馏流水线。学生在共享的可行动作候选集上行动；一个错误状态被重放为预算匹配的延续和回滚/重采样分支；观察到的分支结果决定一个三路预言机控制，保留、回滚或默认 SOD。AIME2024-II-4 和 AIME2025-I-1 卡片是所提供清单中的说明性任务元素，不是 AIME2025 评估结果。下方的条带定位了记录的 E1–E4 审计。

## 方法

### 问题表述

我们考虑一个在顺序环境中行动的在策略学生。在状态sts_{t}处，环境暴露一个可行动作集AtA_{t}，学生选择一个动作，产生的观察成为下一个上下文的一部分。教师对学生访问的状态提供密集监督。方法问题是局部的：在观察到一个错误动作后，训练应该保留已实现的前缀并使用纠正性教师延续，还是应该回滚该动作并获得一个全新分支？我们不假定大的师生差异能解决这一选择。

### 反事实可恢复性标签

对于一个重放的错误状态ss，设B(s)B(s)表示剩余环境步、token、温度和采样预算。我们执行kk个从错误处继续的教师分支，以及kk个回滚该错误的分支，两者都使用B(s)B(s)。设pcont(s)p_{cont}(s)和proll(s)p_{roll}(s)为其经验成功率。我们定义

Δaction(s)=pcont(s)−proll(s)。\Delta_{action}(s)=p_{cont}(s)-p_{roll}(s)。延续充分成功的状态是可恢复的；回滚严格占优的状态是不可逆但可避免的；所有其他状态是模糊的。模糊是一个实质性的结果：它记录证据不足，无法进行强干预，而非强制一个二元标签。

更精确地说，使用标签器预先注册的阈值，

l(s)={可恢复,pcont(s)≥0.50,不可逆但可避免,pcont(s)≤0.25且proll(s)≥0.50,模糊,其他。\ell(s)=\begin{cases}\text{可恢复},&p_{cont}(s)\geq 0.50,\\ \begin{subarray}{c}\text{不可逆但}\\\ \text{可避免}\end{subarray},&\begin{subarray}{c}p_{cont}(s)\leq 0.25\\\ \text{且 }p_{roll}(s)\geq 0.50\end{subarray},\\\ \text{模糊},&\text{其他。}\end{cases}这些阈值定义了分析人群；它们不是学习参数，也未在 E2 结果比较上进行调优。

该协议有三重保障。首先，重放在运行任一分支之前重建错误前前缀。其次，分支检查断言剩余预算匹配。第三，E3 诊断将用于构建可恢复性特征的探针分支与用作预测目标的保留分支分开。这避免了在定义预测器的同一批分支结果上评估预测器。对于预言机训练，可恢复状态保留一个纠正性视界，不可逆但可避免状态触发回滚/重采样，模糊状态退回普通 SOD。

### 候选条件化的蒸馏主干

诊断基于可行动作候选项的 OPD 实现。在一个状态ss，环境提供一个共享的文本动作集A(s)A(s)。学生和教师使用各自的序列平均对数概率对每个a∈A(s)a\in A(s)评分，并且每个分数向量仅在该共享集合内归一化。因此，rollout 动作从学生候选分布中采样，教师目标是教师候选 argmax，训练损失是学生对该目标的序列负对数似然。这种设计消除了自由生成的两个混杂因素：无效动作不能得到虚假的比较分数，且不是直接比较来自分别评分模型的原始对数概率尺度。

对于模型m∈{θ,T}m\in\{\theta,T\}，设qm(a∣s)q_{m}(a\mid s)是分配给动作文本aa的序列平均对数概率。使用蒸馏温度τd\tau_{d}，我们形成

Pm(a∣s,A)=exp(qm(a∣s)/τd)∑a′∈A(s)exp(qm(a′∣s)/τd)。P_{m}(a\mid s,A)=\frac{\exp(q_{m}(a\mid s)/\tau_{d})}{\sum_{a^{\prime}\in A(s)}\exp(q_{m}(a^{\prime}\mid s)/\tau_{d})}。学生从PθP_{\theta}中采样 rollout 动作，使用单独配置的候选温度，而教师目标是aT∗(s)=argmaxa∈A(s) PT(a∣s,A)a_{T}^{*}(s)=\arg\max_{a\in A(s)} P_{T}(a\mid s,A)。保留目标损失为

LOPD(s)=−logπθ(aT∗(s)∣s)。\mathcal{L}_{\mathrm{OPD}}(s)=-\log\pi_{\theta}(a_{T}^{*}(s)\mid s)。
设M=12(Pθ+PT)M=\frac{1}{2}(P_{\theta}+P_{T})。候选分歧被记录为

DJS(s)=12DKL(Pθ∥M)+12DKL(PT∥M)。D_{\mathrm{JS}}(s)=\tfrac{1}{2}D_{\mathrm{KL}}(P_{\theta}\|M)+\tfrac{1}{2}D_{\mathrm{KL}}(P_{T}\|M)。SOD 复现保留了在记录的序列级差距dkd_{k}上的累积比率加权规则，

w1=1,wk=min(∏u=1k−1du+εdu+1+ε,1+δ)，w_{1}=1,\qquad w_{k}=\min\!\left(\prod_{u=1}^{k-1}\frac{d_{u}+\epsilon}{d_{u+1}+\epsilon},\;1+\delta\right)，采用官方的有界放大形式。候选 JS 和 SOD 权重具有不同的作用：JS 概括局部候选分歧，而wkw_{k}响应dkd_{k}沿轨迹的相对变化。记录的 Qwen3.5-9B/Qwen3.5-27B 运行使用实现的保守非对齐 token 模式，因此dkd_{k}是同一动作文本的序列平均对数概率差，而不是精确的 token 级分歧。DJS D_{\mathrm{JS}}和wkw_{k}都不被假定等于可恢复性。

这一分离激发了反事实实验。标量分歧分数可能很高，因为学生进入了不可恢复区域，但也可能在一个正确的教师延续仍能修复轨迹的状态下很高。相反，低分歧并不保证过去的动作可以安全保留。因此，分支实验直接评估决策后果，而不是将歧义相关视为充分证据。

### 预言机控制规则与训练