标签
本文研究在线自蒸馏中的特权上下文设计，表明中间抽象层次可以比完整解决方案更好地提升模型性能，同时使用更少的提示标记。
本文提出了EDGE-OPD，一种针对大语言模型的在线策略自蒸馏改进方法，通过引导式采样和证据掩码来内化特权上下文，同时不损害通用能力，在稀有标记身份设定中取得了成功。