ShortOPD：通过短到长在策略蒸馏恢复剪枝后的大语言模型

# ShortOPD：通过短到长的在线策略蒸馏恢复剪枝后LLMs
来源: https://arxiv.org/html/2607.13124
1\]字节跳动
2\]中国科学院软件研究所中文信息处理实验室
3\]中国科学院大学
\contribution[†]通讯作者 Qianhao Yuan, Hongyu Lin, Yaojie Lu, Xianpei Han, Le Sun, Xiang Li, Ming Xu, Jiarui Li, Xiuying Zhao

[[[
###### 摘要
结构化剪枝是一种硬件友好的LLM压缩方式，但它主要在多项选择识别任务上得到验证，而相同的压缩检查点在实际部署所需的自由文本生成中可能会崩溃。两个观察结果揭示了这一差距。首先，贪婪的pass@1在压缩后几乎消失，但通过重复采样，pass@k大幅恢复：有用的生成被降级而非删除。其次，可恢复区域主要因后缀重复而失败。因此，恢复训练应在压缩模型自身的在线策略状态上进行，并提供密集的Token级监督，而在线策略蒸馏（OPD）通过将压缩前的模型重用为冻结教师来提供这种监督。然而，长的在线策略展开将早期恢复预算浪费在低信息的重复后缀上，延迟了损失下降。为了减轻这种浪费，我们提出了ShortOPD，一种短到长的OPD调度，它检测教师确认的重复后缀，将幸存前缀作为每次展开的有效长度，并将未来的展开预算分配给策略当前可以使用的有效长度。在数学、代码和开放式生成任务中，ShortOPD将压缩模型的得分提高到约9倍于未恢复值，以及1.6–4.4倍的标准恢复方案（不含KD的SFT、KD和SeqKD），并且以四分之一的训练时间（8.5小时对比35.9小时）和71%更少的展开Token，与固定的8192个Token展开水平在两点之内匹配。我们希望这个方案有助于将结构化剪枝从在困惑度和多项选择基准上的边际收益向前推进，更接近部署就绪的生成质量。
![[无标题图片]](https://arxiv.org/html/2607.13124v1/x1.png)
图1：在25%剪枝的Qwen3-4B-Instruct上的主要恢复效果：来自表3（https://arxiv.org/html/2607.13124#S4.T3）的领域平均生成分数（开放式评判分数×10）。ShortOPD恢复了未剪枝教师平均75.2的大约三分之二。

## 1 引言
全尺寸服务LLM成本高昂[grattafiori2024llama3,qwen3]，而结构化剪枝是削减成本最有利于部署的方式之一：它移除耦合的参数块，同时保留普通的密集Transformer执行[ma2023llmpruner,ashkboos2024slicegpt,men2025shortgpt,xia2024sheared,muralidharan2024minitron]，无需非结构化稀疏性和低位量化所依赖的专用内核或硬件支持[frantar2023sparsegpt,sun2024wanda,lin2024awq]。障碍在于评估：大多数剪枝工作[ma2023llmpruner,ashkboos2024slicegpt,men2025shortgpt,an2024flap,kim2024shortened,gromov2025unreasonable,muralidharan2024minitron]报告在MMLU和HellaSwag[hendrycks2021mmlu,zellers2019hellaswag]等多选识别基准上保持很强性能，然而相同的压缩检查点在实际部署所需的自由文本生成中崩溃。仅使用Block-Influence深度剪枝[men2025shortgpt]从Qwen3-4B-Instruct[qwen3]中移除36层中的4层，就足以在数学、代码和开放式任务中摧毁贪婪生成（表1（https://arxiv.org/html/2607.13124#S1.T1），pass@1对比教师贪婪）。这种识别-生成差距正是阻碍结构化剪枝实际应用的原因。†本文的实验可使用两个构建块的公开实现复现：结构化剪枝请参见https://github.com/icip-cas/ShortX，在线策略蒸馏请参见https://github.com/VisionOPD/Vision-OPD。

表1：剪枝导致生成崩溃，但正确的输出仍可通过采样达到：Qwen3-4B-Instruct（移除36层中的4层）的最佳k得分，以及采样尝试次数k的相关关系。数学/代码报告pass@k（%）；开放式任务报告LLM评判的最佳k得分（1-10分制）。教师是未剪枝模型的贪婪得分。加粗：GSM8K在采样下超过教师的贪婪得分——正确的轨迹被降级而非删除。

两个观察结果找出了恢复信号。首先，缺失的能力是被降级而非删除。wen2026illusion 针对短QA答案展示了这一点；我们发现对于整个生成轨迹同样成立：在表1（https://arxiv.org/html/2607.13124#S1.T1）中，pass@k[chen2021codex] 在每个基准上随着采样尝试次数的增加而稳步上升，在GSM8K[cobbe2021gsm8k]上甚至在k=64时达到91%，超过了未剪枝教师的贪婪结果88%。因此正确的轨迹仍然存在于压缩模型自身的采样分布中，并且在线策略搜索能够触及。其次，修复必须是Token级别的：ShortGPT-gen 通过仅将生成的Token路由到完整模型中就恢复了大部分丢失的质量[men2025shortgpt]，因此生成失败是一系列局部的下一Token错误排名，这些错误沿着学生自己的解码路径累积[ranzato2016sequence,agarwal2024gkd]。稀疏奖励[shao2024deepseekmath,deepseekr1]和固定的离线策略标签[kim2016sequence]留下了这些局部错误未指定。因此恢复需要在压缩模型实际访问的状态上提供密集的分布目标。

OPD[agarwal2024gkd,yuan2026vision] 是这些要求的直接实例。压缩的学生从自身分布中采样展开。其冻结的压缩前自身（教师）对相同的轨迹进行评分，学生在每个回复位置匹配教师的下一Token分布。该方案是在线策略且密集的，无需标签、无需验证者、也无需外部教师。

剩下的困难是早期的在线策略展开主要由重复[holtzman2020degeneration,xu2022ditto]主导。在固定的192个提示（数学/代码/开放式集合）上探测BI剪枝的Qwen3-4B-Instruct时，在我们的25%参数测试场景中，后缀重复率达到84%（图2（https://arxiv.org/html/2607.13124#S1.F2）a）；在更强的压缩下，输出变得不连贯而非循环（附录11（https://arxiv.org/html/2607.13124#S11）），因此我们认为25%是该模型可恢复压缩的关键点，并将其作为主要测试场景。这些循环尾部也几乎没有可测量的边际蒸馏信号：重复后缀Token的平均师生广义Jensen-Shannon散度（JSD）为0.0014，而在普通Token上为0.051（约低35倍），教师NLL平均值为3×10^-5，而普通Token为0.68。结合附录9（https://arxiv.org/html/2607.13124#S9）中的条件梯度分析，这些测量将深度重复后缀识别为在当前OPD更新下信息量低：它们在长的、固定的展开水平H（每个回复的Token预算）下消耗早期的展开和教师计算，但提供很少的额外师生修正。

图2（https://arxiv.org/html/2607.13124#S1.F2）（b）跟踪了固定H=2048的OPD运行的前100步：在早期阶段，55%-75%的展开以后缀循环结束，而蒸馏损失保持在最低水平，直到约第80步