sparsegpt

标签

Cards List
#sparsegpt

为大语言模型非结构化后训练剪枝构建嵌套 LADDER

arXiv cs.LG ↗ · 22小时前 缓存

论文提出 LADDER(Layer-Wise Allocation via Damage-Driven Evaluation and Refinement,即基于损伤评估与优化的逐层剪枝分配),一种面向大语言模型的非均匀后训练剪枝方法。该方法通过逐层评估来最小化每移除参数所带来的性能损失,并生成一条嵌套的掩码轨迹;在稀疏度超过 70% 的情况下,其表现显著优于基线方法。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈