mlp-trimming

标签

Cards List
#mlp-trimming

通过保留注意力的 MLP 裁剪解锁推理语言模型的结构化剪枝

arXiv cs.LG ↗ · 4天前 缓存

提出LayerTrim——一种无需训练的结构化剪枝方法,通过保留注意力机制和解码器深度、选择性修剪冗余层的MLP特征,显著缓解了推理语言模型在长链推理任务上的性能崩溃,在Qwen3-14B上实现1.24倍预填充加速和19.7%峰值显存降低。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈