hidden-layer-distillation

本文探讨了大语言模型预训练中的隐藏层蒸馏（HLD），并基于 Gemma3 将其与标准的基于 logits 的知识蒸馏进行了比较。研究发现，尽管 HLD 在下游任务中并未始终优于标准方法，但能带来系统的困惑度降低，这表明在预训练期间提取潜在信号方面具有改进潜力。