通过交互作用统一解释大型语言模型知识蒸馏的方法

# 统一解释大型语言模型知识蒸馏的交互机制
来源: https://arxiv.org/html/2607.08776

###### 摘要

尽管知识蒸馏 (KD) 在大型语言模型 (LLM) 中取得了成功，但其有效背后的潜在机制仍不清楚。在本文中，我们提出了一种统一方法，利用交互来探索各种 KD 方法的共同机制。具体来说，我们将 LLM 的输出得分分解为众多交互之和。每个交互表示涉及一组输入变量（例如词语）的非线性关系。基于分解后的交互，我们发现各种 KD 方法的共同机制是交互的稀疏化，即学生模型在推理时保留较少的交互，同时将其他交互抑制为零效应。此外，我们发现不同 KD 方法之间的性能差异源于它们处理复杂交互的能力。如果 KD 方法使学生模型实现更高的复杂交互稀疏性，则通常会产生更好的性能。受这些见解的启发，我们提出了一种即插即用的损失函数，称为复杂交互惩罚 (CIP)，以在蒸馏过程中明确强制实现复杂交互的稀疏性。大量实验表明，集成 CIP 能够持续提高各种 KD 方法在领域内和分布外基准上的性能。

## 1 引言

尽管 LLM 在文本生成任务中表现出色，但其实际部署受到巨大计算开销和高质量训练数据的限制。因此，KD (Hinton et al., 2015 (https://arxiv.org/html/2607.08776#bib.bib1)) 成为将 LLM 压缩为紧凑学生模型同时保留其能力的关键技术。尽管各种 KD 方法 (Kim and Rush, 2016 (https://arxiv.org/html/2607.08776#bib.bib2); Lin et al., 2020 (https://arxiv.org/html/2607.08776#bib.bib3); Agarwal et al., 2024 (https://arxiv.org/html/2607.08776#bib.bib4); Gu et al., 2024a (https://arxiv.org/html/2607.08776#bib.bib5); Ko et al., 2024 (https://arxiv.org/html/2607.08776#bib.bib6), 2025 (https://arxiv.org/html/2607.08776#bib.bib7)) 取得了经验上的成功，但 KD 为何有效的潜在机制仍不清楚。当前研究主要集中在提升 KD 性能，却缺乏对蒸馏过程的可解释性：是否存在一个统一机制解释为何知识蒸馏能持续提升模型性能？

参见图注
图 1: 比较蒸馏前后学生模型编码的交互模式。蒸馏过程通过将大多数交互抑制到接近零效应来驱动交互的稀疏化，这通过条形的颜色变淡来可视化。同时，学生模型通过从教师模型中学习更显著的交互（以红色框突出显示）来改善与教师模型的交互对齐。

在本文中，我们旨在探索各种 KD 方法有效背后的共同机制，从而为蒸馏过程提供更好的指导。近期研究 (Chen et al., 2024 (https://arxiv.org/html/2607.08776#bib.bib46); Zhou et al., 2024 (https://arxiv.org/html/2607.08776#bib.bib51); Ren et al., 2025a (https://arxiv.org/html/2607.08776#bib.bib53), b (https://arxiv.org/html/2607.08776#bib.bib54)) 利用博弈论交互来解释 LLM 的内部逻辑。受这些研究的启发，我们采用交互来提供关于各种 KD 方法学习过程的统一解释。具体来说，令 \(x\) 表示一个包含 \(n\) 个输入变量（例如词语）的输入序列，索引集合为 \(N = \{1, \dots, n\}\)。一个交互表示与特定输入变量组合相关的非线性关系。考虑句子 \(x = \text{“I am a green hand means that I am a”}\)，词语 “green” 和 “hand” 具有不同的语义含义；它们在集合 \(S = \{\text{green}, \text{hand}\}\) 中的共现触发了一个特殊的交互效应 \(I_S\)，推动 LLM 的推理朝向正确答案 “beginner”。Li 和 Zhang (2023 (https://arxiv.org/html/2607.08776#bib.bib42)) 严格证明了一个 LLM 的标量输出 \(v(x)\) 总是等价于基于交互的逻辑模型 \(\phi(x) = \sum_{S\subseteq N} I_S\) 的输出。即 \(v(x) = \phi(x) = \sum_{S\subseteq N} I_S\)。因此，LLM 的推理逻辑可以等效地用一组交互来解释。基于交互，我们对各种 KD 方法进行了全面分析，并揭示了一个类似于奥卡姆剃刀 (Blumer et al., 1987 (https://arxiv.org/html/2607.08776#bib.bib38)) 的统一机制：蒸馏的本质在于交互的稀疏化。这意味着蒸馏后，学生模型比原始模型保留更少的高效应交互（我们称之为显著交互），并将更多交互抑制到接近零效应。至关重要的是，我们发现此稀疏化过程中，学生模型并非保留随机的交互模式，而是保留教师模型编码的显著交互。如图 1 (https://arxiv.org/html/2607.08776#S1.F1) 所示，蒸馏后的学生模型比蒸馏前保留了更多从教师模型学习到的显著交互，同时将许多其他交互设置为接近零效应。

此外，我们从交互复杂性的角度探讨了上述机制的内在原因。具体来说，交互的复杂性由涉及的输入变量数量定义。简单交互表示少数输入变量之间的关系，而复杂交互表示许多输入变量之间的关系。通过将整体交互稀疏性分解为简单交互稀疏性和复杂交互稀疏性，我们发现复杂交互的稀疏化是整体交互稀疏化的主要驱动力。换句话说，KD 后大部分复杂交互被抑制，但相对较少的简单交互被抑制。此外，在从教师模型学习到的显著交互中，保留的简单交互比例高于复杂交互。我们将此归因于 Zhou et al. (2024 (https://arxiv.org/html/2607.08776#bib.bib51)) 中的发现：简单交互通常编码对维持模型通用能力至关重要的可泛化知识。相反，复杂交互更可能被视为不可泛化的噪声。

基于上述见解，我们探讨了不同 KD 方法性能差异的原因。经验上，我们发现如果一种 KD 方法在复杂交互中诱导出更高的稀疏性（即，将更多复杂交互抑制到接近零效应），并且保留更多教师模型编码的显著复杂交互，则该方法能取得更好的性能。成功的 KD 方法充当了一个选择性过滤器：它们有效地抑制了非显著的复杂交互（这些交互主要被教师模型视为噪声），同时忠实地保留了从教师模型学习到的显著复杂交互。

基于我们识别的共同机制，我们提出了一种即插即用的损失项，称为复杂交互惩罚 (CIP)。该惩罚项在训练过程中明确强制复杂交互的稀疏性。通过将 CIP 集成到当前 KD 方法中，我们证明了它能够提升各种 KD 方法在领域内和分布外基准上的性能。

## 2 相关工作

**知识蒸馏.** KD (Hinton et al., 2015 (https://arxiv.org/html/2607.08776#bib.bib1)) 和 SeqKD (Kim and Rush, 2016 (https://arxiv.org/html/2607.08776#bib.bib2)) 奠定了模型压缩的基础。为了解决分布不匹配问题，诸如 ImitKD (Lin et al., 2020 (https://arxiv.org/html/2607.08776#bib.bib3)), GKD (Agarwal et al., 2024 (https://arxiv.org/html/2607.08776#bib.bib4)) 和 MiniLLM (Gu et al., 2024a (https://arxiv.org/html/2607.08776#bib.bib5)) 等方法利用学生生成的输出进行优化。近期进展集中在效率和性能边界上：DistiLLM (Ko et al., 2024 (https://arxiv.org/html/2607.08776#bib.bib6)) 通过 Skew KL 提升效率，DistiLLM-2 (Ko et al., 2025 (https://arxiv.org/html/2607.08776#bib.bib7)) 整合了对比学习，Speculative KD (Xu et al., 2024 (https://arxiv.org/html/2607.08776#bib.bib8)) 通过交错采样策略弥合师生差距（更多 KD 方法在附录 A (https://arxiv.org/html/2607.08776#A1) 中介绍）。关于 KD 机制的解释，现有研究分为理论验证和表示分析。理论验证 (Phuong and Lampert, 2019 (https://arxiv.org/html/2607.08776#bib.bib33); Allen-Zhu and Li, 2020 (https://arxiv.org/html/2607.08776#bib.bib34)) 证明了 KD 加速收敛并传递了单模型无法获取的隐含“暗知识”。表示分析 (Cheng et al., 2020 (https://arxiv.org/html/2607.08776#bib.bib35); Ojha et al., 2023 (https://arxiv.org/html/2607.08776#bib.bib37); Wu et al., 2024 (https://arxiv.org/html/2607.08776#bib.bib36)) 观察到学生模型继承了教师模型的概念特征和因果机制。然而，仍然缺少一个统一框架来明确解释各种 KD 方法为何能提升模型性能的共同机制。

**利用博弈论交互解释 LLM.** 传统的解释方法 (Tenney et al., 2020 (https://arxiv.org/html/2607.08776#bib.bib39); Zhang et al., 2020b (https://arxiv.org/html/2607.08776#bib.bib40)) 缺乏数学上的忠实性，意味着它们的输出可能无法准确表示 LLM 编码的内部逻辑。为弥补这一差距，Ren et al. (2023a (https://arxiv.org/html/2607.08776#bib.bib43)) 提出使用输入变量之间的交互来解释 LLM，并为该方法有效性提供了一系列理论保证。此外，Li 和 Zhang (2023 (https://arxiv.org/html/2607.08776#bib.bib42)) 提供了经验证据，证明交互确实代表了 LLM 编码的有意义概念。Liu et al. (2023 (https://arxiv.org/html/2607.08776#bib.bib57)) 发现简单交互比复杂交互更容易被 LLM 学习。在应用层面，交互框架已在广泛复杂任务中展示了其有效性，例如对抗迁移性 (Deng et al., 2024 (https://arxiv.org/html/2607.08776#bib.bib48))、模型泛化 (Chen et al., 2024 (https://arxiv.org/html/2607.08776#bib.bib46); Zhou et al., 2024 (https://arxiv.org/html/2607.08776#bib.bib51))、模型训练过程 (Ren et al., 2025a (https://arxiv.org/html/2607.08776#bib.bib53), b (https://arxiv.org/html/2607.08776#bib.bib54)) 和过拟合 (Zhou et al., 2023 (https://arxiv.org/html/2607.08776#bib.bib49); Ren et al., 2023b (https://arxiv.org/html/2607.08776#bib.bib50))。在本文中，我们使用交互框架来分析知识蒸馏过程。

## 3 预备知识：交互

给定一个 LLM \(v\) 和一个包含 \(n\) 个词语¹的输入句子 \(x\)（词语索引集合为 \(N = \{1, 2, \ldots, n\}\)），令 \(v(x) \in \mathbb{R}\) 表示 LLM 的标量输出。在实际中，标量输出 \(v(x)\) 定义为 \(v(x) = \log \frac{\bar{p}}{1 - \bar{p}} \in \mathbb{R}\)，其中 \(\bar{p}\) 表示在文本生成任务中生成真实序列的概率。具体来说，给定真实序列 \(y^* = (y^*_1, \ldots, y^*_L)\)，我们定义 \(\bar{p}\) 为 \(y^*\) 中每个真实 token 概率的几何平均值，即 \(\bar{p} = \left( \prod_{l=1}^L p(y^*_l | x, y^*_{<l}) \right)^{1/L}\)。¹ 我们选择词语而非 token 作为输入变量，因为不同的 LLM 可能将同一个词分割成不同的 token。例如，GPT-2-0.1B 将单词 “Elements” 分成两个 token “Element” 和 “s”，而 LLaMA-7B 将其视为一个 token。

## 4 交互视角下的知识蒸馏

### 4.1 知识蒸馏的通用机制

### 4.2 定量验证

### 4.3 交互稀疏化的内在原因

## 5 CIP：复杂交互惩罚

^(7) 其中 \(\mathcal{L}_{\text{KD}}\) 表示知识蒸馏的基础损失函数，\(\lambda > 0\)。

参见图注
图 9: 探索权重 \(\lambda\) 对复杂交互稀疏性 (a 和 b)、学生模型性能 (c) 以及师生复杂交互重叠率 (d) 的影响。这里基础模型是 GPT-2-0.3B。

我们将提出的 CIP 损失集成到六种广泛使用的 KD 方法中，并在三个 LLM 系列上训练，实验设置与第 4.2 节 (https://arxiv.org/html/2607.08776#S4.SS2) 相同。LLM 在 databricks-dolly-15k 数据集上进行蒸馏，并在四个不同的指令遵循基准上评估，包括 DollyEval、SelfInst (Wang et al., 2023 (https://arxiv.org/html/2607.08776#bib.bib69))、Super-Natural Instructions (Wang et al., 2022 (https://arxiv.org/html/2607.08776#bib.bib70)) 和 Vicuna evaluation (Chiang et al., 2023 (https://arxiv.org/html/2607.08776#bib.bib71))，以全面评估其能力。我们采用两个评估指标：ROUGE-L (Lin, 2004 (https://arxiv.org/html/2607.08776#bib.bib67)) 和 GPT-5 反馈 (Zheng et al., 2023 (https://arxiv.org/html/2607.08776#bib.bib78))。关于实验设置的详细信息见附录 F (https://arxiv.org/html/2607.08776#A6)。图 8 (https://arxiv.org/html/2607.08776#S5.F8) 展示了在不同模型和 KD 基线中，有无 CIP 损失函数的详细性能比较（这里所有模型的权重 \(\lambda\) 均设为 0.001）。结果表明，**添加 CIP 损失在大多数设置中提升了 ROUGE-L 和 GPT-5 分数，无论具体模型或 KD 方法如何。** 关键的是，这些改进展示了强大的泛化能力，从领域内的 Dolly 数据集扩展到分布外基准，如 Self-Instruct、SNI 和 Vicuna。此外，附录 G (https://arxiv.org/html/2607.08776#A7) 中的表 6 (https://arxiv.org/html/2607.08776#A7.T6) 显示，使用 CIP 训练的学生模型相比未使用 CIP 的对应模型表现出更高的基尼系数和更低的熵值。这证实了 **CIP 损失确实能增加复杂交互的稀疏性，从而有效提升模型性能。**

**超参数 \(\lambda\) 的影响。** 如图 9 (https://arxiv.org/html/2607.08776#S5.F9) (a) 和 (b) 所示，复杂交互的稀疏性随 \(\lambda\) 增加而增加。相反，ROUGE-L 分数（图 9 (https://arxiv.org/html/2607.08776#S5.F9) (c)）和复杂交互的重叠率（图 9 (https://arxiv.org/html/2607.08776#S5.F9) (d)）最初随 \(\lambda\) 增加而改善，但随后随着 \(\lambda\) 继续增加而下降。我们将此归因于公式 (7) (https://arxiv.org/html/2607.08776#S5.E7) 中两个损失项之间的权衡，其中 \(\mathcal{L}'_{\text{CIP}}\) 旨在抑制复杂交互的效应，而 \(\mathcal{L}_{\text{KD}}\) 迫使学生模型与教师模型的输出一致性对齐。当 \(\lambda\) 较小时，\(\mathcal{L}'_{\text{CIP}}\) 的影响温和。在这个阶段，\(\mathcal{L}_{\text{KD}}\) 引导学生模型优先考虑教师模型的显著交互过程，并保持高重叠率。

[注意：原文在“the teacher model's salient interactions process with high overlap rate.” 处截断，我们按当前内容翻译。]