论文页面 - 中期训练中的知识蒸馏：推理优先于事实记忆

来源：https://huggingface.co/papers/2609.01532 作者：

,

,

,

,

,

,

,

,

,

,

摘要

Switch蒸馏是一种基于教师模型置信度，在中期训练期间有选择性地应用基于逻辑的知识蒸馏方法，旨在提升小型语言模型的推理能力并保留其事实记忆。

基于逻辑的知识蒸馏（https://huggingface.co/papers?q=Logit-based%20knowledge%20distillation)（KD）通常通过更强大教师模型的监督来训练小型语言模型（LM），但其收益在训练的不同阶段是否一致仍不明确。通过控制实验，我们发现：当使用经过后训练的教师模型（https://huggingface.co/papers?q=post-trained%20teachers)时，前向Kullback-Leibler（KL）蒸馏——即标准的知识蒸馏公式——在中期训练（https://huggingface.co/papers?q=mid-training)阶段（即在精选语料库上进行自监督学习（https://huggingface.co/papers?q=self-supervised%20learning)的中间阶段）表现截然不同。令人惊讶的是，尽管前向KD在预训练阶段相对于标准的下一个词预测（NTP）能同时提升推理能力（https://huggingface.co/papers?q=reasoning)和事实记忆（https://huggingface.co/papers?q=factual%20recall)，但在中期训练期间，它在继续提升推理能力的同时，反而减缓了事实记忆的获取。我们将这种阶段依赖性归因于教师模型在不同数据领域上的置信度不对称，以及学生模型知识状态的动态演变：教师在程序性数据上比在知识密集型数据上置信度更高，而学生模型在训练早期就获取了低熵的事实知识。为缓解这种不平衡，我们提出了Switch蒸馏（https://huggingface.co/papers?q=Switch%20Distillation)，一个简单的中期训练（https://huggingface.co/papers?q=mid-training)目标：它仅在教师模型置信的词元上进行蒸馏，使用教师模型的预测熵（https://huggingface.co/papers?q=predictive%20entropy)作为轻量级路由信号，否则则回退到交叉熵（https://huggingface.co/papers?q=cross-entropy)损失。相对于标准NTP，Switch蒸馏（https://huggingface.co/papers?q=Switch%20Distillation)在不同教师规模下均一致优于现有蒸馏目标。具体而言，它实现了1.61-1.71倍的推理性能提升和1.13-1.19倍的知识与常识性能提升，同时保留了96.7%-96.8%的事实记忆。至关重要的是，这些优势在后训练之后依然存在：Switch蒸馏缩小了事实记忆差距，同时在推理以及知识与常识方面分别保持了1.25-1.32倍和1.13-1.20倍的性能增益。

查看arXiv页面 (https://arxiv.org/abs/2609.01532) 查看PDF (https://arxiv.org/pdf/2609.01532) GitHub (https://github.com/facebookresearch/midtraining-distillation) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.01532)

在你的代理中获取此论文：

hf papers read 2609\.01532

没有最新的CLI？运行 curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2609.01532 以从此页面链接。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2609.01532 以从此页面链接。

引用此论文的Spaces 0

暂无Space关联此论文

在Space的 README.md 中引用 arxiv.org/abs/2609.01532 以从此页面链接。

包含此论文的收藏 0

暂无收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。