标签
本文研究了同策略蒸馏（OPD），发现它能够可靠地迁移组合推理技能，但传递的新事实知识极少。这表明，OPD 是在教学生组织和组合已有的知识，而非扩展参数记忆。
本文提出了自适应熵蒸馏（AED）方法，该方法利用教师熵动态校准知识蒸馏中的词元级模仿强度，在指令跟随和数学推理基准测试上取得了卓越性能。
本文重新审视了温度在大语言模型蒸馏中的作用，揭示出温度不对称地更有利于正向KL散度而非反向KL，使得简单的KL方法在较高温度下能够匹敌当前最先进的蒸馏方法。