标签
论文提出 LADDER(Layer-Wise Allocation via Damage-Driven Evaluation and Refinement,即基于损伤评估与优化的逐层剪枝分配),一种面向大语言模型的非均匀后训练剪枝方法。该方法通过逐层评估来最小化每移除参数所带来的性能损失,并生成一条嵌套的掩码轨迹;在稀疏度超过 70% 的情况下,其表现显著优于基线方法。
论文提出了一种受物理学启发的LLM块修剪方法,通过将块移除建模为一个受约束的二元优化问题并映射到Ising玻璃,无需对每个配置进行基准测试,实现了显著的压缩增益。
This paper introduces Sniper, a two-stage structured pruning framework for LLMs that uses binary knapsack optimization to unify depth and width pruning, achieving near-exact compression ratio adherence and improved performance retention across multiple architectures.
This paper analyzes why compression statistics for LLM pruning can be reproducible yet select suboptimal endpoints, introducing information boundaries and observation fibers to model the gap. It proposes group-resolved and model-specific mask selection methods that improve worst-group perplexity across dense LLMs and OLMoE.
PALS根据激活幅度的99百分位数调整大语言模型剪枝中的每层稀疏比,在LLaMA-2-7B上相比均匀稀疏实现了显著困惑度改进,且附加成本可忽略不计。
本文提出了一种级联多粒度剪枝框架,用于在工业物联网边缘设备上部署大语言模型,在MHA+GELU架构上实现了高达13.8倍的压缩,且精度损失极小,同时揭示了GQA+SwiGLU设计上的性能崩溃。
本文实证比较了剪枝与从头训练小型语言模型的差异,发现在有限token预算下剪枝具有明显优势,但随着训练规模扩大,优势逐渐减小,尤其是在粗粒度剪枝情况下。