知识蒸馏在教师误指定下的秩序参数分析：教师模仿与任务表现之间的差距

# 知识蒸馏中的教师模型失配问题：模仿教师与任务表现差距的序参量分析  
来源：https://arxiv.org/html/2608.29472  
作者：Hideitsu Hino  
单位：日本大学统计数学研究所  

###### 摘要

知识蒸馏通过训练小型学生模型复现大型教师模型的输出，其进展通常通过教师与学生之间的差异来监控。然而，最终关注的指标是学生相对于真实任务的误差。我们通过一个最小化三方模型研究了这两个目标之间的关系：真实教师（生成模型）、教师和学生均采用软委员会机结构，其中真实教师包含一个教师无法表示的共享潜在因子，失配强度由单个标量参数δmiss控制。基于在线蒸馏的序参量描述，并利用误差函数激活下所有误差的闭式（反正弦型）表达式，我们证明了学习动态和蒸馏误差Ets对δmiss完全不变，而真实误差Et0s和差距Δ=Et0s−Ets则随δmiss严格递增，其速率由真实教师的复杂度M0线性放大。在由真实教师复杂度和学生容量构成的平面上进行的数值相图验证了预测的形变现象：Ets的等高线保持不变，而Et0s的地貌系统性上升，模仿教师成功但任务失败的教师失配区域随δmiss扩大。研究结果定量警示了仅通过模仿教师指标评估蒸馏的局限性，并将差距Δ识别为区分教师失配与容量受限失败的最小化诊断指标。

## 1 引言

深度学习模型的高准确率是通过堆叠大量层并使用大量参数（自由度）实现的。因此，训练和运行深度学习模型需要巨大的计算资源，使其实际部署变得困难。为解决这一问题，知识蒸馏被提出作为一种在保持大模型等效知识的同时减少计算时间的方法。知识蒸馏（Hinton等人，2015）是一种将大型模型（教师）的输入-输出关系迁移至小型模型（学生）的基础技术，在保持性能的同时降低推理成本。尽管作为部署人工智能系统的关键技术备受关注，但关于哪些大型复杂模型可被哪些学习模型近似的理论理解尚未跟上步伐，蒸馏的适用范围仍不明确。

蒸馏的学习目标通常是让学生复现教师的输出，其达成情况通过教师与学生之间的差异或相对于教师软标签的损失来衡量。我们将此类指标统称为*教师输出近似*。然而，我们最终关注的是学生在*真实任务*上的误差，即最小化真实教师、生成模型或未知目标函数之间的差距。我们称此类意义上的指标为*真实误差*。当教师充分表征真实任务时，教师输出近似与真实误差往往一致，但通常两者并不相同。教师输出近似仅衡量模仿教师的准确性；当教师本身遗漏部分真实任务时，即使学生完美模仿教师，也无法保证真实误差得到改善。

随着蒸馏在实践中的广泛应用，这种双重性逐渐成为操作风险：每当蒸馏损失下降就宣告成功的设计，可能将“模仿的成功”（教师输出近似）与“任务的成功”（真实误差）混为一谈。因此，理解蒸馏需要一个理论分离两者并揭示其分歧条件的框架。

本文所探讨的核心现象如下：*尽管蒸馏降低了教师与学生之间的差异（模仿误差，即教师输出近似），但真实教师与学生之间的误差（真实误差）并未减少，或停滞不前。*

这一现象主要分为两类。第一类是*教师失配*（教师模型设定错误）。当教师未能捕捉真实教师具备的结构时，学生的模仿将教师*包括*其遗漏的部分一并传递：模仿误差减小，但相对于任务的误差（真实误差）并未改善。第二类是*容量受限失败*。即使教师很好地表征了真实任务，如果学生的容量（自由度）不足，模仿误差本身就不会充分减小，自然真实误差也不会提升。

重要的是，这两种失败模式难以从相同观察中区分（例如蒸馏损失的收敛）。教师失配是模仿成功但未转化为任务成功的失败，而容量受限失败是模仿本身不足的失败。若不区分，就无法确定适当的补救措施，即改进教师、扩大学生还是改变蒸馏目标。

我们通过同时追踪三方（真实教师t0、教师t和学生s）之间的误差来实现这种分离：

Ets=½E[(t−s)²]，Et0s=½E[(t0−s)²]，  
并特别使用它们的差值：  
Δ≡Et0s−Ets，  
作为使教师失配可视化的诊断指标。较大的Δ表明，在模仿教师持续降低Ets的同时，真实目标Et0s并未改善的区域。

本文的贡献如下：首先，我们提出一个框架，通过最小修改引入教师失配，并将其出现可视化为相图。具体而言，真实教师除了潜在因子（U₁, U₂）外，还拥有一个教师无法观测的共享潜在因子U₃，该因子的强度由单个标量δmiss≥0控制。其中δmiss=0对应无失配，δmiss>0诱导教师失配。此设计在保持蒸馏动态（针对教师t的更新）不变的同时，仅系统改变真实误差侧的评估。

其次，我们将蒸馏视为序参量的常微分方程（ODE）组，并分析由此产生的全局相结构。在学习率η和连续时间α下，教师-学生相关性和学生内相关性（在对称约化中为r, qd, qo）遵循闭合ODE，延续了在线学习统计力学的传统（Saad与Solla，1995；Biehl与Schwarze，1995）。这使得我们能在参数空间内系统阐述教师失配发生及容量限制主导的区域，而无需依赖单独的有限规模实验。此外，选择误差函数作为激活函数，使得蒸馏误差和真实误差在序参量中具有闭合（反正弦型）形式，我们证明了*学习动态和Ets对δmiss完全不变，而Et0s和Δ随δmiss严格递增，且速率与真实教师复杂度M0成正比放大*（第4.4节）。我们的三方设置可视为统计力学学习理论中研究的线性三方模型的非线性、结构化失配对应物，例如在真实教师轨道上移动的教师监督的学生（Miyoshi与Okada，2006b），或由不完美教师集监督的学生（Miyoshi与Okada，2006a）。

第三，我们通过两种可视化展示相结构：（i）在（M0, Ktot）平面上Ets和Et0s的地貌与等高线比较；（ii）差距Δ=Et0s−Ets的热图。实验上，增加δmiss使Ets的等高线保持不变，而Et0s的地貌系统性上升，大Δ区域扩大。这一观察表明，改进教师输出近似无法保证真实任务改进的区域，表现为受失配强度δmiss控制的相图。

## 2 相关工作

### 2.1 知识蒸馏：基础与实践问题

蒸馏的思想由来已久，但其重要性通过Hinton等人（2015）的研究得以确立。早期表明浅层模型可从深层模型训练得出的工作包括Ba与Caruana（2014），而使用中间表征作为提示传递知识的方法（Romero等人，2015）在施加超越输出的结构约束方面具有重要意义。关于知识蒸馏的全面综述，请参阅Gou等人（2021）。

实证观察表明，当教师与学生之间的容量差距过大时蒸馏会失败，这支持了本文讨论的容量受限机制（Cho与Hariharan，2019）。教师助理作为补救措施被提出，并伴随对教师复杂度与学生能力之间失配的讨论（Mirzadeh等人，2020）。批判性研究显示蒸馏并不总能带来良好的泛化（Stanton等人，2021），这为本文关于Ets可能下降而Et0s未改善的主张提供了实证基础。

### 2.2 在线学习的统计力学

学习动态的统计力学表征是机器学习理论中的一个成熟分支（Watkin等人，1993；Engel与Van den Broeck，2001；Goldt等人，2019b）。描述多层网络在线学习动态的里程碑式ODE方法构成了本文的数学基础（Saad与Solla，1995a）；其配套论文分析了对称破缺和专门化转变（Saad与Solla，1995b）。关于在线梯度学习及其确定性ODE描述的综述由Biehl与Schwarze（1995）提供，Rattray与Saad（1999）则详细分析了平台结构及其对学习规则和度量的依赖。

该框架已被扩展至远超单教师-单学生的配置。Hara与Okada（2005）分析了线性感知器学生（可能带有教师和学生侧噪声）从共同线性教师学习的在线集成学习；Miyoshi等人（2005）在同一在线学习框架中处理了非线性简单感知器的集成。多学生间的互学习（有无明确教师）也得到分析（Hara等人，2009）。这些工作表明，宏观序参量（即教师-学生重叠和学生-学生重叠）足以描述多网络系统的泛化行为，这正是我们用于蒸馏的约化方式。该程序的现代更新包括泛化误差的高维动力学（Advani等人，2020）、教师-学生设置中过参数化两层网络的SGD动力学（Goldt等人，2019a），以及委员会机的计算-统计差距分析（Aubin等人，2018）。

### 2.3 模型失配与三方教师-学生模型

学习者（或我们案例中的教师）的模型类无法表征数据生成规则的设定，作为*不可实现规则*的研究具有悠久历史。Seung等人（1992）分析了可实现与不可实现规则学习曲线的差异（另见Engel与Van den Broeck，2001）。我们的研究可定位为该方向向真实教师、教师和学生三方关系的延伸。模型失配也从输入分布侧作为协变量偏移被研究，其中训练与评估分布不同（Shimodaira，2000；Kimura与Hino，2022）；在本文中，失配存在于监督信号中，即生成训练目标的教师函数类中。

最接近我们设置的是在线学习统计力学中分析的三方模型。Miyoshi与Okada（2006b）处理了由真实教师、绕其轨道运行的*移动*教师和学生组成的系统（均为带输出噪声的线性感知器），并计算了三种泛化误差：真实教师与教师、真实教师与学生、教师与学生，分别对应我们的Et0t、Et0s和Ets。Miyoshi与Okada（2006a）分析了学生从围绕真实教师分散的不完美（准最优）教师集学习的场景；Hara与Okada（2007）则分析了学生间的互学习，其泛化能力针对不参与学习的*潜在*教师进行衡量。该方向的一个显著发现是，若选择适当的学习率，学生相对于真实教师的泛化能力可能优于所观察的不完美教师。我们的工作在两个方面有所不同。