reverse-kl-divergence

D³-MOPD是一个用于多教师蒸馏的零开销调度器，基于每个领域的反向KL轨迹动态调整领域采样比例，从而提高收敛效率并缩小大部分学生与教师之间的性能差距。