Progressive$^2$：一种用于大幅模型压缩的师生渐进协同进化知识蒸馏方法

# Progressive2：一种用于显著模型压缩的师生渐进协同进化知识蒸馏方法

来源：https://arxiv.org/html/2608.00129

Tiancong Cheng, , Ying Zhang\*, , Zhiwen Yu\*, , Yifang Yin, Bin Guo,

Tiancong Cheng 就职于西北工业大学计算机学院，西安 710129，中国。电子邮件：[email protected]。
通讯作者：Zhiwen Yu 和 Ying Zhang。
该工作已提交至 IEEE Transactions on Services Computing 以供可能发表。版权可能在不另行通知的情况下转移，之后此版本可能不再可访问。

###### 摘要

知识蒸馏（KD）是一种广泛使用的技术，用于将知识从大型模型（教师）迁移到较小的模型（学生）。由于其灵活性和广泛的适用性，KD已被大量应用于服务器端模型的压缩，以满足客户端用户的服务质量（QoS）要求。尽管取得了显著进展，但当服务器能力与客户端需求之间存在巨大差异时，蒸馏性能会受到严重影响。为了解决这一问题，我们提出了一种新颖的蒸馏方法，名为 Progressive2，该方法通过逐步增强的教师和逐步缩小的学生的组合来运作。在教师方面，我们不是同时涉及所有层，而是按照从原始到丰富的语义进展逐步选择额外的层进行蒸馏，建立系统的学习课程。此外，我们为教师设计了一个教师端多特征融合适配器，以提高训练稳定性，这在理论上由 Lipschitz 连续性框架支持。在学生方面，我们不是直接训练一个微型模型，而是逐步缩小网络规模，以促进与教师的迭代协同进化。Progressive2 作为一个灵活的框架；教师的渐进策略可以独立部署，以实现准确性和训练效率之间的最佳平衡，而教师和学生的联合整合则进一步提高了整体性能。

## I 引言

深度神经网络在计算机视觉\[35 (https://arxiv.org/html/2608.00129#bib.bib123),36 (https://arxiv.org/html/2608.00129#bib.bib2)\]、数据挖掘\[45 (https://arxiv.org/html/2608.00129#bib.bib122),46 (https://arxiv.org/html/2608.00129#bib.bib26)\]和云计算\[48 (https://arxiv.org/html/2608.00129#bib.bib23),16 (https://arxiv.org/html/2608.00129#bib.bib18)\]等多个领域取得了显著成就。这些进展通常依赖于更深或更宽的神经网络，导致参数数量庞大，这阻碍了它们在资源受限场景（例如机器人、无人机集群和低成本计算设备）中的实际部署\[25 (https://arxiv.org/html/2608.00129#bib.bib125)\]。随着物联网（IoT）技术的持续发展，云服务器越来越多地提供模型压缩\[31 (https://arxiv.org/html/2608.00129#bib.bib25)\]服务，以满足移动设备的 QoS 要求。服务器端模型压缩服务通常用于为移动设备配备轻量级且高性能的模型\[39 (https://arxiv.org/html/2608.00129#bib.bib137)\]。大量研究致力于开发更小但有效的架构。知识蒸馏已成为一种广泛采用的方法\[33 (https://arxiv.org/html/2608.00129#bib.bib98),44 (https://arxiv.org/html/2608.00129#bib.bib91)\]，有效地将知识从大型教师模型迁移到小型学生模型。

参见说明
图 1：(a) 为移动场景大幅压缩预训练模型，突出了模型之间显著的能力差距。(b) 不同数据集上不同大小模型的内在维度（ID）\[1 (https://arxiv.org/html/2608.00129#bib.bib140)\]差异。(c-d) 先前研究（DIST\[15 (https://arxiv.org/html/2608.00129#bib.bib113)\], Vanilla\[14 (https://arxiv.org/html/2608.00129#bib.bib49)\], MKD\[23 (https://arxiv.org/html/2608.00129#bib.bib93)\], ESKD\[6 (https://arxiv.org/html/2608.00129#bib.bib100)\], SemCKD\[3 (https://arxiv.org/html/2608.00129#bib.bib95)\]）表明，当教师和学生模型之间存在巨大差距时，知识蒸馏性能会下降。实验在 CIFAR-100\[20 (https://arxiv.org/html/2608.00129#bib.bib54)\] 和 Cityscapes\[8 (https://arxiv.org/html/2608.00129#bib.bib52)\] 上使用 ResNet\[12 (https://arxiv.org/html/2608.00129#bib.bib42)\] 和 SegNet\[2 (https://arxiv.org/html/2608.00129#bib.bib111)\] 骨干网络进行。

尽管知识蒸馏取得了进展，但当教师和学生模型之间存在巨大能力差距时，经验性能通常会严重下降（图 1 (https://arxiv.org/html/2608.00129#S1.F1)(c-d)）。最近的方法计算特征表示的内在维度（ID）\[10 (https://arxiv.org/html/2608.00129#bib.bib139),1 (https://arxiv.org/html/2608.00129#bib.bib140)\]，通过描述深度神经网络训练动态来定量分析这种退化（图 1 (https://arxiv.org/html/2608.00129#S1.F1)(b)）。在相同任务上，从最后一个隐藏层提取的特征表示的 ID 越低，通常表明预测性能越好\[1 (https://arxiv.org/html/2608.00129#bib.bib140)\]。尽管通过闭式解析证明将 ID 与精确的泛化边界联系起来仍然具有挑战性，但 ID 可作为表示复杂性的有效代理\[21 (https://arxiv.org/html/2608.00129#bib.bib138),22 (https://arxiv.org/html/2608.00129#bib.bib141)\]。从概念上讲，借鉴统计学习理论\[4 (https://arxiv.org/html/2608.00129#bib.bib153)\]，教师和学生之间显著的 ID 不匹配与蒸馏难度的增加密切相关。此外，经验观察表明，强制发散的高维学生流形突然坍缩到特定的低维教师结构中，与优化不稳定性相关\[6 (https://arxiv.org/html/2608.00129#bib.bib100),33 (https://arxiv.org/html/2608.00129#bib.bib98)\]。这并不意味着严格的因果机制，而是通常观察到这种不稳定与梯度方向冲突和局部损失曲率激增同时发生。

为了弥合师生差距，最近的方法设计了中等规模的辅助模型进行渐进蒸馏\[33 (https://arxiv.org/html/2608.00129#bib.bib98),29 (https://arxiv.org/html/2608.00129#bib.bib48)\]。然而，这些研究仅利用最后一层的硬标签或软标签进行基于标签的蒸馏（LL-KD），忽略了教师中间层中丰富的信息\[3 (https://arxiv.org/html/2608.00129#bib.bib95)\]。因此，先进的方法要求学生整合来自教师层的知识，通常通过逐层特征对齐\[55 (https://arxiv.org/html/2608.00129#bib.bib71),50 (https://arxiv.org/html/2608.00129#bib.bib112),13 (https://arxiv.org/html/2608.00129#bib.bib88)\]。在这些方法（FF-KD）中，知识迁移发生在对应的师生层对之间或跨多个层\[18 (https://arxiv.org/html/2608.00129#bib.bib96),3 (https://arxiv.org/html/2608.00129#bib.bib95),5 (https://arxiv.org/html/2608.00129#bib.bib81)\]。然而，由于教师通常包含众多层，这些方法引入了大量参数。此外，学生的学习可能会因多层特征之间的不一致而受到影响\[55 (https://arxiv.org/html/2608.00129#bib.bib71)\]，从而降低训练稳定性。

为了克服这些挑战，我们提出了 Progressive2，它逐步且稳定地将大型教师的多层知识迁移到小型学生。该方法具有逐步增强的教师（基础蒸馏框架）和逐步缩小的学生（可选增强），因此称为 Progressive2。仅使用渐进式教师即可在准确性和训练时间之间取得良好平衡，但与渐进式学生结合后准确率进一步提高。具体来说，

1) 逐步增强的教师（Prog2-t）：为了蒸馏小型学生，更倾向于使用逐步增强的教师（Prog2-t），因为使用非常强的教师会加剧能力差距\[6 (https://arxiv.org/html/2608.00129#bib.bib100),15 (https://arxiv.org/html/2608.00129#bib.bib113)\]。因此，我们引入了关于教师表示水平的课程，要求教师在训练过程中逐步纳入更多层。经验上，图 2 (https://arxiv.org/html/2608.00129#S1.F2)(a) 表明，使用语义稀疏的浅层特征进行早期蒸馏预热比直接蒸馏能获得更高的性能提升。为了在适应学生训练的同时捕获全面的教师知识\[3 (https://arxiv.org/html/2608.00129#bib.bib95),18 (https://arxiv.org/html/2608.00129#bib.bib96),19 (https://arxiv.org/html/2608.00129#bib.bib124),17 (https://arxiv.org/html/2608.00129#bib.bib72)\]，我们设计了一种从原始到丰富的层参与机制，逐步整合更多的教师知识。同时，一个教师端知识适配器将所涉及的层浓缩为聚合特征以指导学生。基于 Lipschitz 连续性的理论代理分析表明，该设计降低了训练复杂性并增强了稳定性，而图 2 (https://arxiv.org/html/2608.00129#S1.F2)(d) 中的可视化则展示了教师特征知识从弱到强的有效迁移。

2) 逐步缩小的学生（Prog2-ts）：虽然上述策略通过渐进特征表示缓解了师生差距，但渐进模型容量进一步减小了这种差距。现有研究表明，通过辅助模型逐步迁移知识有助于有效蒸馏\[33 (https://arxiv.org/html/2608.00129#bib.bib98),24 (https://arxiv.org/html/2608.00129#bib.bib116)\]。受此启发，我们系统地减小学生规模，以促进其与逐步增强的教师协同进化，从而获得更优结果。值得注意的是，在表示水平上建立课程的逐步增强教师可以独立部署。相比之下，在模型容量上形成课程的逐步缩小学生则作为可选的精度增强模块。

我们的贡献总结如下：

参见说明
图 2：(a) 几种经典蒸馏方法的结果。对于每种方法，最左边的条形表示原始蒸馏结果，右侧三个相邻条形表示在训练早期采用具有单个浅层的弱化教师获得的新结果。(b) 在 Cityscapes 数据集\[8 (https://arxiv.org/html/2608.00129#bib.bib52)\]上，经典方法 SemCKD\[3 (https://arxiv.org/html/2608.00129#bib.bib95)\] 和 BAM\[7 (https://arxiv.org/html/2608.00129#bib.bib92)\] 的学生模型最后一个隐藏层特征的固有维度（ID）\[1 (https://arxiv.org/html/2608.00129#bib.bib140)\] 随性能的变化。(d) 在我们的方法下，迁移到学生的教师特征知识 ID 的动态变化。

- •我们提出了一种新颖的知识蒸馏方法，逐步减小师生能力差距。该方法通过师生协同进化策略实现最佳性能，而渐进式教师可独立部署以平衡准确性和训练效率。这种灵活性完美地适应了实际移动应用中服务质量（QoS）的多样化需求。
- •我们为教师设计了一个多层特征适配器，它浓缩了多层架构的复杂性，并有助于以增强的稳定性进行训练过程，这在理论上由 Lipschitz 连续性框架支持。该方法保证了服务器端提供的蒸馏服务的质量。
- •我们使用 Cityscapes、CIFAR-100、NYU-V2 和 Tiny-ImageNet 基准数据集在多个经典视觉任务上评估了所提出的方法。我们提出的方法始终优于最先进的蒸馏方法。

## II 相关工作

知识蒸馏通过将信息从高容量教师迁移到紧凑学生来压缩模型。现有方法根据迁移的知识在数学上分类为基于 logits 的蒸馏、基于特征的蒸馏和渐进方案。

基于 Logits 的蒸馏（LL-KD）：概率分布匹配。
由 Hinton 等人\[14 (https://arxiv.org/html/2608.00129#bib.bib49)\]推广的基于 logits 的蒸馏（LL-KD）最小化教师（\(P_T\)）和学生（\(P_S\)）的软化 softmax 输出之间的 Kullback-Leibler（KL）散度。利用温度参数 \(\tau\) 平滑概率分布，使学生能够学习丰富的类间关系。最近的工作通过避免过度标签平滑\[34 (https://arxiv.org/html/2608.00129#bib.bib50)\]、分解 KL 散度损失以解耦梯度贡献\[54 (https://arxiv.org/html/2608.00129#bib.bib87)\]或将概率匹配扩展到跨任务设置\[49 (https://arxiv.org/html/2608.00129#bib.bib108)\]来细化目标分布 \(P_T\)。尽管效率高，但 LL-KD 方法仅限于最终的 logits 输出。在假设降维层（如平均池化 \(\theta \in \mathbb{R}^{CHW \times C}\) 和全连接投影 \(\theta \in \mathbb{R}^{C_1 \times C_2}\)，其中 \(C_1 > C_2\)）充当信息瓶颈的情况下，这些方法可能会在生成 logits 的过程中无意中削弱中间层中嵌入的丰富空间和结构信息。

基于特征的蒸馏：中间结构对齐。
与 logits 语义对齐不同，基于特征的蒸馏\[37 (https://arxiv.org/html/2608.00129#bib.bib62)\]通过最小化教师特征图（\(F_T\)）与投影学生特征（\(\phi(F_S)\)）之间的 L2 范数来强制中间表示空间中的结构一致性：\(\mathcal{L}_{feat} = ||F_T - \phi(F_S)||^2\)。变换函数 \(\phi(\cdot)\) 弥合维度不匹配。先进的方法使用奇异值分解（SVD）优化 \(\phi\) 以减少线性映射冗余\[13 (https://arxiv.org/html/2608.00129#bib.bib88)\]，或对齐梯度方向以促进收敛\[3 (https://arxiv.org/html/2608.00129#bib.bib95),28 (https://arxiv.org/html/2608.00129#bib.bib58),27 (https://arxiv.org/html/2608.00129#bib.bib86)\]。然而，同时蒸馏多层特征会导致蒸馏梯度与主任务优化梯度冲突，表示为 \(\text{Cosine\_Similarity}(\nabla\mathcal{L}_{task}, \nabla\mathcal{L}_{feat}) < 0\)。这种方向冲突可能不利地改变任务损失景观的局部曲率，这通常会加剧训练不稳定性。

渐进蒸馏：放宽优化约束。
为了缓解由大规模