标签
提出LayerTrim——一种无需训练的结构化剪枝方法，通过保留注意力机制和解码器深度、选择性修剪冗余层的MLP特征，显著缓解了推理语言模型在长链推理任务上的性能崩溃，在Qwen3-14B上实现1.24倍预填充加速和19.7%峰值显存降低。
ReCal 是一种即插即用的校准方法，在结构化剪枝前通过教师-剪枝探针间的前向 KL 识别受损预测并重加权校准统计，从而提升剪枝模型在在线策略蒸馏（OPD）后的恢复效果，在 AIME 上最高提升 16.7 个百分点。
该研究提出了一种感知相关性的结构化剪枝方法，通过显式建模跨单元依赖性来优化剪枝决策，从而在大型语言模型中实现精度与效率的优异权衡。
本文介绍了一种分层解耦方法，用于神经网络全连接层的结构化稀疏化。与联合方法相比，该方法提升了鲁棒性并减少了过度剪枝。
LILA是一种用于大型语言模型的无校准结构化剪枝方法，利用潜在谱几何对神经元重要性进行评分，在无需校准数据的情况下实现竞争性能。
本文提出了一种损伤感知的多臂老虎机方法，用于视觉和语言Transformer的结构化训练后剪枝。实验表明，与基线方法相比，该方法在多种模型和数据集上表现出降低的性能下降。
本文提出COEC，一种用于大语言模型结构化剪枝的无需训练补偿框架，通过应用正交旋转和校准来减少输出误差，并在列移除后提高准确性。
This paper introduces Sniper, a two-stage structured pruning framework for LLMs that uses binary knapsack optimization to unify depth and width pruning, achieving near-exact compression ratio adherence and improved performance retention across multiple architectures.
TriSP 提出了一种三信号重要性度量，结合权重幅度、激活范数和梯度敏感性，用于大语言模型的结构化剪枝，在 LLaMA-7B 上实现了最低困惑度和高吞吐量提升。
提出了一种面向LLM的两阶段结构化剪枝框架，通过多目标深度剪枝和并行贝叶斯优化联合优化延迟与模型大小，在边缘部署中实现有利的权衡。
ShortOPD提出了一种短到长的在策略蒸馏方案，通过将训练集中在有效前缀上，恢复用于自由形式生成的剪枝后大语言模型，相较于未恢复模型实现了高达9倍的改进，并以四分之一的训练时间达到了长视界蒸馏的效果。
本文介绍了Maestro，一种针对混合专家语言模型的结构化剪枝框架。该框架利用马尔可夫链对专家激活轨迹进行建模，实现全局感知剪枝，在50%压缩率下，性能优于基线模型最高达10.61%。
本文提出了一种针对大语言模型的结构化剪枝方法，解决了在将非结构化剪枝技术适配到结构化剪枝时出现的分布不匹配、符号信息丢失和异常值影响等问题，在Llama-3-8B和Vicuna-v1.5-13B等模型上实现了相当精度，并获得了1.56-1.57倍的加速。
本文提出了一种级联多粒度剪枝框架，用于在工业物联网边缘设备上部署大语言模型，在MHA+GELU架构上实现了高达13.8倍的压缩，且精度损失极小，同时揭示了GQA+SwiGLU设计上的性能崩溃。
本文提出了一种新颖的基于多臂赌博机算法的深度神经网络结构化神经元剪枝框架，并在多种任务上验证了其有效性。
提出KOFF框架，利用结构化剪枝和LoRA适配器将预训练大语言模型分解为稀疏共享骨干网络与领域特定外部记忆，实现12%稀疏度且无明显性能损失。