entropy-distillation

本文提出了自适应熵蒸馏（AED）方法，该方法利用教师熵动态校准知识蒸馏中的词元级模仿强度，在指令跟随和数学推理基准测试上取得了卓越性能。