标签
本文提出了长度缩放代价（Length-Scaling Tax，LST）的概念——即在强化学习后训练之后，已解决查询上出现的多余响应长度——并提出长度自蒸馏（Length Self-Distillation，LSD）。该方法将已解决的提示词路由到在线策略蒸馏中，以在线策略的指数移动平均（EMA）作为教师模型，在显著抑制冗长输出的同时保持甚至提升准确率。