llm-pruning

标签

Cards List
#llm-pruning

为大语言模型非结构化后训练剪枝构建嵌套 LADDER

arXiv cs.LG ↗ · 2026-10-22 缓存

论文提出 LADDER(Layer-Wise Allocation via Damage-Driven Evaluation and Refinement,即基于损伤评估与优化的逐层剪枝分配),一种面向大语言模型的非均匀后训练剪枝方法。该方法通过逐层评估来最小化每移除参数所带来的性能损失,并生成一条嵌套的掩码轨迹;在稀疏度超过 70% 的情况下,其表现显著优于基线方法。

0 人收藏 0 人点赞
#llm-pruning

像物理学家一样修剪LLM:将块移除视为Ising优化问题

Hugging Face Blog ↗ · 2026-09-21 缓存

论文提出了一种受物理学启发的LLM块修剪方法,通过将块移除建模为一个受约束的二元优化问题并映射到Ising玻璃,无需对每个配置进行基准测试,实现了显著的压缩增益。

0 人收藏 0 人点赞
#llm-pruning

Unifying Depth and Width Pruning for LLMs via Binary Knapsack Optimization

arXiv cs.CL ↗ · 2026-08-14 缓存

This paper introduces Sniper, a two-stage structured pruning framework for LLMs that uses binary knapsack optimization to unify depth and width pruning, achieving near-exact compression ratio adherence and improved performance retention across multiple architectures.

0 人收藏 0 人点赞
#llm-pruning

When Compression Scores Cannot Decide: Information Boundaries for Group-Robust LLM Pruning

arXiv cs.AI ↗ · 2026-08-05 缓存

This paper analyzes why compression statistics for LLM pruning can be reproducible yet select suboptimal endpoints, introducing information boundaries and observation fibers to model the gap. It proposes group-resolved and model-specific mask selection methods that improve worst-group perplexity across dense LLMs and OLMoE.

0 人收藏 0 人点赞
#llm-pruning

PALS:面向大语言模型剪枝的百分位感知层稀疏度方法

arXiv cs.CL ↗ · 2026-07-09 缓存

PALS根据激活幅度的99百分位数调整大语言模型剪枝中的每层稀疏比,在LLaMA-2-7B上相比均匀稀疏实现了显著困惑度改进,且附加成本可忽略不计。

0 人收藏 0 人点赞
#llm-pruning

面向工业物联网设备端大语言模型推理的级联多粒度剪枝

arXiv cs.CL ↗ · 2026-06-26 缓存

本文提出了一种级联多粒度剪枝框架,用于在工业物联网边缘设备上部署大语言模型,在MHA+GELU架构上实现了高达13.8倍的压缩,且精度损失极小,同时揭示了GQA+SwiGLU设计上的性能崩溃。

0 人收藏 0 人点赞
#llm-pruning

小型LLM:剪枝与从头训练

arXiv cs.LG ↗ · 2026-06-15 缓存

本文实证比较了剪枝与从头训练小型语言模型的差异,发现在有限token预算下剪枝具有明显优势,但随着训练规模扩大,优势逐渐减小,尤其是在粗粒度剪枝情况下。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈