position-weighting

本文发现，推理蒸馏中教师令牌的可靠性具有轨迹结构特性，并提出了基于位置加权的在线策略自蒸馏方法（PW-OPSD），该方法通过应用递增的位置权重，在不增加教师计算量的情况下提升了性能。