标签
本文提出了一种针对大语言模型的结构化剪枝方法，解决了在将非结构化剪枝技术适配到结构化剪枝时出现的分布不匹配、符号信息丢失和异常值影响等问题，在Llama-3-8B和Vicuna-v1.5-13B等模型上实现了相当精度，并获得了1.56-1.57倍的加速。