标签
本文提出了一种针对大语言模型的结构化剪枝方法，解决了在将非结构化剪枝技术适配到结构化剪枝时出现的分布不匹配、符号信息丢失和异常值影响等问题，在Llama-3-8B和Vicuna-v1.5-13B等模型上实现了相当精度，并获得了1.56-1.57倍的加速。
PowerOPD 引入了一种有界幂变换来稳定大型语言模型的在线策略蒸馏，在降低计算成本的同时，实现了准确性和样本效率的显著提升。