利用在线蒸馏缓解长度缩放代价

Hugging Face Daily Papers 论文
reinforcement-learning distillation llm-efficiency reasoning post-training response-length

摘要

本文提出了长度缩放代价（Length-Scaling Tax，LST）的概念——即在强化学习后训练之后，已解决查询上出现的多余响应长度——并提出长度自蒸馏（Length Self-Distillation，LSD）。该方法将已解决的提示词路由到在线策略蒸馏中，以在线策略的指数移动平均（EMA）作为教师模型，在显著抑制冗长输出的同时保持甚至提升准确率。

在强化学习（RL）后训练中，长度缩放通常被视为推理能力提升的标志，尤其是在难题上；但它也可能导致模型对已解决的问题生成不必要的冗长回答。我们将这一副作用量化为长度缩放代价（Length-Scaling Tax，LST）：即在准确率未相应提升的情况下，已解决查询上多余的响应长度。为了缓解 LST，我们提出了长度自蒸馏（Length Self-Distillation，LSD），该方法将已解决的提示词路由到在线策略蒸馏中，同时对未解决的提示词保留原有的强化学习目标。LSD 以在线策略的指数移动平均（EMA）作为教师模型，无需引入任何外部模型。实验表明，在多种变体上，LSD 取得了与强化学习相当甚至更优的性能，同时显著抑制了简单查询上的响应长度增长。在单轮推理任务中，LSD 将 LST 从 19.0% 降至 -3.7%；在多轮智能体（agentic）任务中，LST 从 31.4% 降至 13.7%。这表明，在强化学习后训练过程中，LSD 能够有效保持简单查询上的简洁回答模式，同时支持在困难问题上的高效探索。
查看原文
查看缓存全文

缓存时间: 2026/10/01 16:23

论文页面 - 用在线蒸馏缓解长度缩放税

来源：https://huggingface.co/papers/2609.38854 发布于 9 月 30 日

·

由 https://huggingface.co/Wanux

XuWan (https://huggingface.co/Wanux) 于 10 月 1 日提交

摘要

在强化学习（RL）后训练中，长度缩放（length scaling）通常被视为推理能力提升的标志，尤其是在难题上，但它也可能导致模型对已经解决的问题给出不必要的冗长回答。我们将这种副作用量化为长度缩放税（length-scaling tax, LST）：在已被解决的查询上出现的、且未带来相应准确率提升的回答长度增加。为了缓解 LST，我们提出了长度自蒸馏（Length Self-Distillation, LSD）：它将已解决的提示路由到在线策略蒸馏，而对未解决的提示则保留原始的 RL 目标。LSD 以在线策略的指数移动平均作为其教师模型，无需任何外部模型。我们发现，LSD 在多种变体上取得了与 RL 相当甚至更优的性能，同时在简单查询上显著抑制了回答长度的增长。在单轮推理任务中，LSD 将 LST 从 19.0% 降至 −3.7%；在多轮智能体（agentic）任务中，将其从 31.4% 降至 13.7%。这表明，在 RL 后训练过程中，LSD 能够有效保留简单查询上的简洁回答模式，同时支持在困难查询上进行高效探索。

查看 arXiv 页面 (https://arxiv.org/abs/2609.38854) 查看 PDF (https://arxiv.org/pdf/2609.38854) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.38854)

在你的 agent 中获取这篇论文：

hf papers read 2609.38854

还没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联到此论文

在模型 README.md 中引用 arxiv.org/abs/2609.38854 即可从本页面链接它。

引用此论文的数据集 0

没有数据集关联到此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.38854 即可从本页面链接它。

引用此论文的 Spaces 0

没有 Space 关联到此论文

在 Space README.md 中引用 arxiv.org/abs/2609.38854 即可从本页面链接它。

包含此论文的合集 0

没有合集包含此论文

将此论文加入合集 (https://huggingface.co/new-collection) 即可从本页面链接它。

相似文章

突破 LLM 推理中同策略自蒸馏的规模扩展瓶颈

Hugging Face Daily Papers

本文分析了用于 LLM 推理的同策略自蒸馏（OPSD），指出未经验证的学生生成骨架会带来模仿鸿沟，且该鸿沟随模型规模增大而加剧，因此提出了 OASIS 方法：利用模型生成的尝试作为教师上下文，主要对经过答案标签验证的同策略轨迹进行监督，使 Qwen3 1.7B/4B/8B 模型在 AIME/HMMT 基准上提升 3.2-3.8 个点。

ShortOPD：通过短到长在策略蒸馏恢复剪枝后的大语言模型

arXiv cs.LG

ShortOPD提出了一种短到长的在策略蒸馏方案，通过将训练集中在有效前缀上，恢复用于自由形式生成的剪枝后大语言模型，相较于未恢复模型实现了高达9倍的改进，并以四分之一的训练时间达到了长视界蒸馏的效果。

用于LLM推理的自适应教师暴露自蒸馏方法

Hugging Face Daily Papers

自适应教师暴露自蒸馏(ATESD)通过可学习的策略控制器和折扣学习进度奖励动态调整教师向学生展示参考推理的比例，从而提升LLM推理能力。在数学基准上的实验表明，该方法相较于现有自蒸馏和强化学习基线均取得了一致改进。

揭秘 On-Policy Distillation：角色、病理与调控

Hugging Face Daily Papers

本文系统研究了LLM后训练中的on-policy distillation，阐明了其作为探索催化剂的作用，并识别了Student-Teacher Mismatch和Length Exploitation等病理现象，提出了轻量级信号调控方法。