distillation-noise

本文分析了策略内蒸馏，揭示其主要通过抑制低概率token而非依赖教师指导来实现改进，并提出了无需监督的OPSA方法，显著提升了推理性能。