post-training-pruning

标签

Cards List
#post-training-pruning

PALS:面向大语言模型剪枝的百分位感知层稀疏度方法

arXiv cs.CL · 2026-07-09 缓存

PALS根据激活幅度的99百分位数调整大语言模型剪枝中的每层稀疏比,在LLaMA-2-7B上相比均匀稀疏实现了显著困惑度改进,且附加成本可忽略不计。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈