标签
论文提出了 RIDE（RL-Induced Direction Extrapolation，RL 引入方向外推），该方法在在线蒸馏过程中于隐状态空间而非输出空间外推 RL 引入的表示残差，使学生模型在多种模型规模与架构下逼近甚至超越 RL 训练的教师模型。