通过自适应互惠知识蒸馏发现和保持类别相关知识

# 通过自适应互惠知识蒸馏发现与保留类别关联知识
来源：https://arxiv.org/html/2609.13199
## 通过自适应互惠知识蒸馏发现与保留类别关联知识
DOI：XXXXXXX\.XXXXXXX（https://doi.org/XXXXXXX.XXXXXXX）
会议：请务必输入您的版权确认邮件中的正确会议标题；2018年6月3日至5日；纽约州伍德斯托克
ISBN：978\-1\-4503\-XXXX\-X/2018/06
CCS：计算方法 机器学习 学习范式 有监督学习

**Dawen Jiang**
机构：武汉理工大学，中国湖北省武汉市
邮箱：[davin@whut\.edu\.cn](mailto:[email protected])
ORCID：0009\-0006\-5898\-4403（https://orcid.org/0009-0006-5898-4403）

**Zhishu Shen**
注：Zhishu Shen 是通讯作者。
机构：武汉理工大学，中国湖北省武汉市
邮箱：[z\_shen@ieee\.org](mailto:[email protected])
ORCID：0000\-0002\-3123\-4390（https://orcid.org/0000-0002-3123-4390）

**Zeyu Liu**
机构：武汉理工大学，中国湖北省武汉市
邮箱：[357932@whut\.edu\.cn](mailto:[email protected])
ORCID：0009\-0009\-5083\-3856（https://orcid.org/0009-0009-5083-3856）

**Tiehua Zhang**
机构：同济大学，中国上海市
邮箱：[tiehuaz@tongji\.edu\.cn](mailto:[email protected])
ORCID：0000\-0002\-7195\-4472（https://orcid.org/0000-0002-7195-4472）

2018© ， 2018;

###### 摘要

知识蒸馏旨在通过将知识从更大、更强大的教师模型转移到轻量级学生模型来提升其性能。然而，教师与学生模型之间巨大的容量差距常常阻碍了有效的知识转移。大多数现有方法采用静态、单向的教师到学生的蒸馏范式，忽略了学生学习的动态特性，也未能为困难样本提供针对性的指导。本文中，我们提出了一种自适应互惠知识蒸馏（AR-KD）新方法，该方法通过简化教师输出分布来增强知识转移。具体而言，AR-KD通过匹配教师与学生模型的关系表示来对教师进行互惠适应，从而重塑教师的预测结构，使其更好地适配学生的能力。这种关系对齐缓解了由过度自信的教师引起的类间暗知识塌缩问题，使学生能够从更丰富、更兼容的监督信号中学习。我们在CIFAR-100和ImageNet-1k分类数据集上评估了AR-KD，结果表明其性能超越了现有的知识蒸馏基准方法。具体来说，AR-KD在同构和异构设置下均提升了学生模型性能：学生准确率最高提升7.13%，平均比原始KD高出1.42%–4.15%，并且在与其他先进方法结合时还能进一步提升性能。我们的代码已开源：https://anonymous.4open.science/r/ARKD/。

###### 关键词

数据挖掘，知识蒸馏，互惠学习

## 1.引言

深度神经网络（DNN）在各种计算机视觉任务中取得了显著成功。ResNet和Vision Transformer等模型通过利用大规模架构和海量数据，显著提升了准确率的边界。然而，这些模型令人印象深刻的性能是以巨大的计算和内存需求为代价的。为了应对这一挑战，提出了多种模型压缩方法。知识蒸馏已成为其中最有效和最通用的策略之一。知识蒸馏旨在通过最小化教师和学生模型输出之间的Kullback-Leibler（KL）散度，将知识从大型、训练良好的教师模型转移到更小的学生模型。为了缓解因教师-学生容量差距过大而导致的蒸馏退化问题，Pe等人提出了自提升特征蒸馏，该方法通过特征整合和参数自蒸馏来增强学生表示，而无需额外开销。类似地，Kim等人引入了集成匹配特征方法，该方法利用中间特征蒸馏器和ENA层来有效整合匹配的特征，在不同任务上均实现了性能提升。

已有众多知识蒸馏方法通过利用预训练教师的指导来提升紧凑型学生模型的性能。这些方法通常分为两类：基于logit的蒸馏，该方法将教师软化的输出概率转移给学生；以及基于特征的蒸馏，该方法对齐模型之间的中间表示。这些方法通常比从头训练学生模型表现出更优越的性能。然而，巨大的架构差距常常阻碍了有效的知识转移，因为学生难以模仿教师过度自信且复杂的输出分布。

为了弥合这一差距，近期的研究提出了诸如软化教师输出、引入辅助教师模型以及采用多教师蒸馏等方法。然而，大多数现有方法采用静态、单向的教师到学生蒸馏范式，忽略了学生学习过程的动态性。此外，它们更侧重于使学生捕捉教师正确预测的类别，而忽视了类别之间的关联性。这一问题常常导致学生无法正确捕捉类别关联。在诸如电子商务产品分类、文档主题标注和医疗代码预测等大规模分类任务中，类别关联信息至关重要。

（图注）图1\. 我们AR-KD的核心动机在于解决传统知识蒸馏中的容量差距问题。根据相关研究，教师输出的高置信度导致非目标类知识的权重较低，使得学生难以有效从暗知识中学习。相比之下，AR-KD引入了一种互惠蒸馏策略，该策略基于学生的反馈自适应地简化教师输出，降低其过度自信并软化知识，使知识转移更有效、更利于学生学习。

本文中，我们提出了一种自适应互惠知识蒸馏新框架，这是一种基于logit的蒸馏框架，通过互惠的模型适应来增强教师与学生之间的兼容性。如图1所示，AR-KD没有遵循传统的单向教师到学生范式，而是引入了一个双向训练方案，其中学生也提供反馈来指导教师，形成一个闭环的知识精炼过程。具体而言，AR-KD采用了一个递归蒸馏流水线，将互惠教师适应机制整合到标准知识蒸馏中。在第一阶段，学生使用原始教师进行训练，以获得对任务的初始表示。在第二阶段，教师通过将类别关联结构与学生对齐来进行进一步适应。这是通过匹配从两者软化预测分布中导出的类别关联矩阵实现的，这使得教师能够调整其关系知识，以更好地适配学生的容量。通过这种互惠适应，教师学会了生成对学生更兼容、更可转移的输出。在最后阶段，适应后的教师被用于将知识蒸馏回学生，使学生能够从一个类别关联已与其自身表示明确对齐的教师那里学习。这种双向的关系感知设计允许学生间接影响教师，从而实现更具自适应性和有效性的蒸馏过程。此外，由于AR-KD在类别关联结构层面操作，它可以作为即插即用的增强模块与现有知识蒸馏方法无缝集成。

本文的主要贡献总结如下：
- • 我们提出了一种新型基于logit的蒸馏框架AR-KD，将知识转移转化为一个闭环过程。我们的方法没有将教师视为静态的监督者，而是明确允许学生来调整教师，从而发现并保留那些本会被教师过度自信所掩盖的本质类别关联知识。
- • 我们设计了一种关系结构对齐策略，该策略匹配教师和学生模型软化预测分布中导出的类别关联矩阵。此机制使教师能够动态调整其关系知识，生成高度兼容且可转移的输出，以适应学生的表示能力。
- • 我们通过在CIFAR-100和ImageNet-1k数据集上，针对同构和异构教师-学生配置下的最先进基准方法，进行了广泛的实验，验证了我们方法的有效性。

## 2.相关工作

知识蒸馏旨在将知识从大型、复杂的教师模型转移到轻量级的学生模型，在参数更少、计算成本更低的情况下提升学生的性能。自其提出以来，已有大量基于此概念的研究。当前的蒸馏方法大致可分为两类：基于logit的蒸馏和基于中间特征的蒸馏。Sun等人提出了Exp-KD，该方法采用类激活图作为知识载体，统一了标签依赖性和结构相关知识，从而提高了可解释性。在CIFAR-100和ImageNet-1K上的实验证明了其优越性能。Gou等人提出了一种分层多注意力转移框架，在基于特征的蒸馏中转移分层多注意力知识，在多个视觉任务上实现了最先进的性能。大多数知识蒸馏方法依赖于一个预训练的、复杂的教师来监督一个更简单的学生。然而，当容量差距过大时，学生可能难以吸收蒸馏的知识，从而限制了蒸馏的有效性。

为了解决这个问题，提出了几种知识蒸馏方法。例如，教师助手知识蒸馏引入了一个中间教师助手来减少容量差距，但可能会多次传播教师错误，导致误差累积。为了缓解这个问题，密集引导知识蒸馏采用紧密引导的监督来减少复合误差。解耦知识蒸馏通过解耦蒸馏损失并引入超参数来更好地处理大的教师-学生差距，从而解决了性能下降问题。类似地，Yang等人提出了一个统一的KD和自蒸馏框架，在CNN和ViT架构上都具有兼容性，并以最小的开销实现了最先进的性能。

除了单教师设置外，一些扩展方法进一步改进了蒸馏。例如，多级logit知识蒸馏在多个层次上对齐预测，而采用强化学习的多教师知识蒸馏对多个教师进行动态加权，以克服次优的固定加权。Li等人提出了DTSKD，一个双教师自蒸馏框架，利用轻量级分支和MFM来缓解语义差距，效率很高。除了图像分类，知识蒸馏也被扩展到时间序列分析。例如，Boileau等人将基础模型中的推理知识蒸馏到轻量级语言模型中，以增强时间可解释性，而Dehigahawattage等人提出了TSD来提取时间显著性，进一步提高保真度和可解释性。

与上述方法相比，AR-KD引入了一种反馈机制，该机制根据学生的反馈自适应地精炼教师模型。这种动态调整使教师能够生成与学生学习容量更好对齐的知识，有效缩小了教师-学生的容量差距。

在本节中，我们首先介绍我们提出的AR-KD背后的动机和预备知识，包括传统知识蒸馏在大容量教师-学生差距下的局限性。然后，我们描述我们的三阶段框架，包括初始学习、互惠学习和最终学习，并制定相应的优化目标。最后，我们分析为什么互惠学习可以缓解类别关联塌缩并提高转移知识与学生模型的兼容性。

（图注）图2\. AR-KD分三个阶段执行互惠蒸馏：（左）