PHF：策略自适应自蒸馏中的特权隐式流

# 特权隐藏流：面向在线策略自蒸馏的优化方法

来源：https://arxiv.org/html/2606.29340

李雨涵¹，张明旭¹，沈大中²,\*，孙颖³

¹香港科技大学（广州）
²南京航空航天大学
³国防科技大学第六十三研究所，南京

[email protected]，[email protected]，[email protected]

###### 摘要

在线策略自蒸馏（OPSD）通过匹配一个也能看到已验证参考解的特权教师，来在从自身策略采样的轨迹上训练推理模型。现有的OPSD目标仅监督输出分布，因此特权上下文通过token级散度影响训练，而未直接监督产生该分布的内部计算。我们提出特权隐藏流（PHF），其额外蒸馏特权教师隐藏状态沿相同轨迹如何移动。PHF并非强制每个学生的隐藏向量与教师在同一token位置的向量匹配，而是对齐选定生成位置上token到token的转移方向与轨迹几何。全层方案还包括一个由这些相同转移计算出的相邻层关系，无需逐点隐藏状态模仿。在相同的100步训练计划下，PHF在我们复现的OPSD基线基础上，将Qwen3-1.7B、4B和8B上的Average@12聚合指标分别提升了约+2.2、+1.5和+1.7个百分点。传输目标对共享轨迹偏移具有精确不变性；其局部几何项对转移方向的正交变换也具有不变性。消融实验将固定的PHF方案与逐点隐藏状态匹配、单通道转移损失及层子集选择区分开来，支持PHF作为OPSD的一种紧凑的隐藏流扩展。

参见图注

图1：特权隐藏流（PHF）概览。在线学生仅从问题出发采样一条轨迹。特权EMA教师则基于参考解和相同的轨迹token，同时提供OPSD输出分布目标和PHF隐藏流目标。PHF在每一层匹配归一化的token间隐藏转移及其轨迹几何，然后将此局部转移损失与基于相同转移计算的相邻层关系相结合。完整目标将此隐藏流损失添加到标准OPSD输出损失中。特权教师仅在训练期间使用，部署模型为在线学生。

## 引言

在线策略蒸馏是减少语言模型蒸馏中分布漂移的一种实用方案。学生不是模仿固定的离线语料库，而是采样自身的轨迹，并接收对其实际访问状态的密集监督（?;?;?）。在线策略自蒸馏（OPSD）深化了这一思想：同一模型同时扮演学生和教师，教师以特权信息（如已验证的参考解）为条件，而学生仅看到问题（?）。这避免了外部教师，且在数学推理中可能更加token高效。

然而，现有OPSD目标仅捕捉了特权上下文改变模型的一条途径。在学生生成的前缀上，以参考解为条件不仅会改变下一个token的后验概率，还会改变支撑该后验的中间表示。仅输出监督必须通过输出层上的token级散度来表达这种特权信息，而无法直接约束产生它的隐藏轨迹。过程级监督已通过步级奖励模型改善了推理（?），但其粒度是输出步骤而非内部动态。这引出了一个直接问题：
*OPSD能否通过蒸馏特权上下文所引发的内部过程（而不仅仅是最终输出分布）来更好地利用特权上下文？*

一个自然的答案是直接监督隐藏状态。但这比看起来更困难。隐藏坐标在语义上并非固定：它们在训练过程中漂移，因此对学生和教师隐藏向量之间的L2目标是在追逐一个移动点。此外，隐藏计算在层间和生成的轨迹位置间都会发生变化。仅凭逐层损失也忽略了相邻层是否在相同的token间隐藏移动中保留了相似的关系。

我们引入**特权隐藏流**（PHF），它应对了这两个困难（图1 (https://arxiv.org/html/2606.29340#S0.F1)）。PHF并非逐点匹配隐藏状态，而是匹配隐藏**转移**：沿选定轨迹位置，残差流的局部位移。转移匹配对齐了学生内部计算的**方向**与轨迹**几何**，且不要求两者占据隐藏空间中的同一点。由此产生的目标对隐藏轨迹的共享偏移具有精确不变性，其几何项对转移方向的正交变换也具有不变性（第3节），而这些是逐点状态损失必须吸收的表征漂移中的简单组成部分。我们使用与OPSD风格自蒸馏相同的平滑教师来实例化特权教师，但核心设计选择是转移目标而非平均机制。简而言之：OPSD教学生**哪个token**特权教师会预测；PHF额外教学生**特权教师的隐藏状态如何移动**以达到那里。

主要方案两次使用相同的转移对象：首先在每层内用于局部方向和几何匹配，然后跨相邻层以保持相邻深度变换的兼容性。PHF向标准OPSD目标添加一个标量损失系数；128位置隐藏预算和全层聚合方案在不同规模间固定。它不引入正确性路由、token过滤、奖励模型或额外轨迹。在官方OPSD数学设置下，针对2024年美国数学邀请赛（AIME 2024）、2025年AIME（AIME 2025）和2025年哈佛-麻省理工学院数学锦标赛（HMMT 2025）的评估中，PHF在我们复现的OPSD基线基础上，将检查点100的Average@12聚合指标在Qwen3-1.7B上提升了约+2.2，Qwen3-4B上+1.5，Qwen3-8B上+1.7。聚合增益在每个规模上均为正，且除一个基准-规模单元外所有单元均朝同一方向移动。消融实验随后定位了设计边界：转移目标、全层聚合和共享特权教师源至关重要，而邻近的逐点和选定层隐藏监督控制在某些设置中仍具竞争力。

贡献。
- • 我们为OPSD引入了一种特权转移传输目标。在学生轨迹上，PHF匹配归一化的token间隐藏转移及其轨迹内的Gram几何，而非逐点匹配隐藏状态向量。
- • 我们刻画了传输损失的简单不变性。局部转移目标在隐藏轨迹偏移和归一化后每转移的正缩放下保持不变；其几何项也对学生和教师转移集的独立正交变换保持不变。这些结构特性将PHF与逐点隐藏状态匹配区分开来。
- • 我们将相同的转移损失平均到所有层，并在主要方案中添加一个从相同转移计算出的固定相邻层关系。这避免了选择少量手工挑选的层子集，同时使监督与隐藏运动紧密关联。
- • 我们在官方OPSD思维模式协议下，使用Qwen3-1.7B、4B和8B评估了固定方案，包括Base、SFT和GRPO上下文行。PHF在三种规模下均改善了检查点100的Average@12聚合指标（相对于我们复现的OPSD基线），并且消融实验隔离了转移几何、逐点隐藏状态控制和通道耦合的作用。

## 相关工作

#### 蒸馏与在线策略自蒸馏。
知识蒸馏将教师的行为迁移给学生，从早期压缩方法（?;?）到软化输出匹配（?）和序列级蒸馏（?）；综述见（?;?）。在线策略变体通过监督学生访问的状态来减少分布漂移，如广义知识蒸馏（?;?）、MiniLLM的反向KL训练（?）以及DistiLLM的偏斜散度和离线策略复用（?）。OPSD将此思想应用于推理自蒸馏：教师是同一模型，以特权信息（如已验证参考）为条件，而学生仅看到问题（?）。PHF保留了OPSD的在线策略输出监督，但在此基础上为同一轨迹添加了隐藏过程目标。

#### 隐藏与关系表征蒸馏。
中间特征蒸馏包括隐藏层提示（?）、BERT的多层迁移（?），以及紧凑语言模型中的注意力或嵌入匹配（?;?）。相关的特征损失通常将隐藏状态匹配在选定层，与输出、注意力或其他表征损失相结合（?;?）。关系路线则匹配示例或特征间的结构，如关系蒸馏（?）、注意力迁移（?）以及对比表征蒸馏（?）。PHF遵循关系精神但改变了匹配的对象：它比较同一轨迹内token间隐藏转移及其轨迹几何，而非单个位置上的静态隐藏状态。这确立了PHF最接近的新颖性边界，并激励了我们在实验中的逐点隐藏状态和选定层控制。我们不声称隐藏表征监督本身是新的；贡献在于具体的特权、在线策略转移几何目标及其与邻近逐点状态和层选定控制相比的经验边界。

#### 推理与过程监督。
推理模型受益于思维链提示（?）、基于采样的自一致性（?），以及在推理链或生成解上的训练（?;?;?），并在数学推理基准（?;?;?）和强大数学模型（?;?）上进行评估。过程监督和奖励模型对中间推理步骤而非仅最终答案进行评分（?;?;?），而策略优化方法（如PPO、RLHF和GRPO（?;?;?））通过奖励优化动作级行为。PHF共享过程导向的动机，但其监督是内部的：它蒸馏特权上下文如何沿着轨迹改变隐藏转移。

## 方法

### OPSD预备知识

设x为问题，r为特权信息（如参考解），y

0，s_iΔh_i/||s_iΔh_i||_2 = d_i；因此单元归一化在计算任一局部损失之前去除了每转移的幅度。逐点状态损失没有类似的不变性，因为它作用于状态本身。

#### (iii) 几何项的正交不变性。
对于正交矩阵R_S，将D^S替换为D^S R_S^T会得到(D^S R_S^T)(D^S R_S^T)^T = G^S，教师侧对独立的R_T同理；因此L_geo对独立正交映射具有不变性。方向项仅对公共映射R_S = R_T（保持每个内积）具有不变性。因此，PHF将坐标锚定的方向信号与关系几何信号分离，而逐点状态匹配一般在独立旋转下会发生变化。这些是局部转移目标的代数不变性；相邻层项重用相同的转移表示来比较相邻层关系。

## 附录F 消融定义

表2 (https://arxiv.org/html/2606.29340#Sx4.T2) 使用简短的行名以保持主论文紧凑。所有行均保留OPSD输出目标、相同的训练计划、相同的128位置隐藏窗口以及与PHF相同的特权教师源。仅包含在三种模型规模下均评估的控制组于主消融表中。

#### 匹配什么。
仅方向保留L_dir并移除Gram几何项。仅几何保留L_geo并移除方向匹配。

#### 层选择。
选定层使用固定的手工挑选的Transformer层子集，而非在所有层上聚合转移目标。

## 附录G 参考依赖与无标签范围

PHF继承了OPSD的特权信息假设。教师前向传播以已验证的参考解为条件，因此PHF并非无标签或自验证方案。错误或不对齐的参考可能会破坏输出和隐藏过程目标，因此我们的实验保持在OPSD相同的已验证参考设置内，并始终评估在线学生。

## 附录H 更广泛的影响

PHF修改了现有OPSD流水线的训练目标，并未引入新数据、新模型或部署时能力。它继承了OPSD和知识蒸馏的更广泛影响特征：更好的推理可能有助于下游应用，但不会减轻基础模型或其训练数据的风险。

#### 可复现性。
我们的实现扩展了开源OPSD代码库，增加了隐藏状态提取、转移归一化、方向/Gram损失、相邻层一致性以及EMA更新（在opsd_trainer.py中）；除PyTorch、Transformers和vLLM外未添加其他依赖。训练使用官方OPSD数学集（29,434个示例），评估使用公共AIME 2024、AIME 2025和HMMT 2025集，遵循上述协议。所有运行使用一个8×NVIDIA H20节点；主要结果和消融实验的总预算约为600 GPU小时。代码和训练检查点将在接收后发布。