TriSP: 三信号结构化剪枝用于大语言模型

# TriSP：用于大型语言模型的三信号结构化剪枝
来源：https://arxiv.org/html/2607.22587
Manel Kara laouar 国家人工智能学院 \(ENSIA\) 西迪阿卜杜拉校区，阿尔及尔，阿尔及利亚 manel\.karalaouar@ensia\.edu\.dz &Soumia Bouyahiaoui 国家人工智能学院 \(ENSIA\) 西迪阿卜杜拉校区，阿尔及尔，阿尔及利亚 soumia\.bouyahiaoui@ensia\.edu\.dz &Aicha Boutorh 国家人工智能学院 \(ENSIA\) 西迪阿卜杜拉校区，阿尔及尔，阿尔及利亚 aicha\.boutorh@ensia\.edu\.dz

###### 摘要

大型语言模型 \(LLMs\) 在多种任务中表现出色，但其部署受限于参数的内存和计算成本。结构化剪枝通过移除整个结构（如注意力头和多层感知器 \(MLP\) 神经元）来解决此问题，从而生成更小的稠密模型，能在标准硬件上高效运行。然而，现有方法要么依赖基于梯度的（内存消耗过大）重要性估计，要么依赖基于激活的统计代理（无法直接衡量移除对损失的影响）。此外，重要性准则与剪枝后恢复策略之间的交互作用尚未被系统研究。我们提出 TriSP \(三信号结构化剪枝\)，一种重要性度量，它通过几何平均将权重幅度（经激活范数缩放）与一阶梯度敏感性相结合，产生一个捕获结构和损失敏感性信号的通道级分数。结合自适应逐层预算分配和低秩适配 \(LoRA\) 恢复，TriSP 在所有测试配置中实现了最低的困惑度和最高的零样本准确率，在 LLaMA-7B 上 20% 剪枝率下达到 6.80 的 WikiText-2 困惑度。在 50% 剪枝率下，推理吞吐量提升 82%，同时仍保持有竞争力的性能。

## 1 引言

基于 Transformer 架构[3 (https://arxiv.org/html/2607.22587#bib.bib1)]的大型语言模型 \(LLMs\) 已成为自然语言处理的主导范式。诸如 GPT-4[1 (https://arxiv.org/html/2607.22587#bib.bib2)]、LLaMA[26 (https://arxiv.org/html/2607.22587#bib.bib3)]、Mistral[15 (https://arxiv.org/html/2607.22587#bib.bib32)] 和 DeepSeek[5 (https://arxiv.org/html/2607.22587#bib.bib5)] 等模型在多项任务中展示了强大性能。然而，其实际部署受到所需计算和内存资源的限制：一个 70 亿参数的半精度模型约占用 13 GB 的 GPU 内存，并且每次前向传递需要数千亿次乘加运算[31 (https://arxiv.org/html/2607.22587#bib.bib6)]。

*结构化剪枝*通过移除整个架构组件来降低成本：注意力头、多层感知器 \(MLP\) 神经元或通道，生成更小的稠密模型，从而受益于标准的 GPU 矩阵运算。与需要专用稀疏内核来加速的非结构化剪枝（将单个权重置零）不同，结构化剪枝在通用硬件上能直接带来延迟和内存的降低。核心挑战在于识别哪些结构可以移除，同时最小化质量下降，这既需要准确的重要性准则，也需要一种分配策略，能够根据各层冗余度来分配剪枝预算。

现有方法用互补但不完整的方案来应对这些需求。FLAP[2 (https://arxiv.org/html/2607.22587#bib.bib12)] 使用经平方权重幅度缩放的激活方差，这是一种计算快速的统计代理，但无法直接衡量移除对模型损失的影响。LLM-Prune[20 (https://arxiv.org/html/2607.22587#bib.bib11)] 使用基于泰勒展开的梯度重要性并结合依赖图分析，这能更直接地估计剪枝影响，但需要存储所有预训练权重的梯度张量，对于大型模型来说内存消耗过大。两种方法都应用剪枝后恢复（FLAP 的偏差补偿，LLM-Prune 的 LoRA 微调）来恢复质量，但之前没有工作评估恢复策略的选择如何影响最终质量。

两个研究空白推动了这项工作。首先，梯度增强已持续改善了非结构化剪枝：GBLM-Prune[9 (https://arxiv.org/html/2607.22587#bib.bib9)] 向 Wanda[24 (https://arxiv.org/html/2607.22587#bib.bib8)] 的激活范数准则中引入了梯度项，而 Wanda++[27 (https://arxiv.org/html/2607.22587#bib.bib10)] 通过区域梯度对此进行了扩展。然而，这种方法尚未被迁移到结构化剪枝中，在该领域基于梯度和基于激活的方法仍然分离。其次，FLAP 的偏差补偿被认为是足以省去微调的，但在激进的剪枝比率下质量显著下降，并且此前没有工作在相同剪枝准则下比较这种静态校正与 LoRA 恢复[14 (https://arxiv.org/html/2607.22587#bib.bib17)]的效果。本文做出两项贡献：

1.  提出了 TriSP \(三信号结构化剪枝\)，一种重要性度量，它通过几何平均将激活加权幅度与梯度敏感性相结合，将梯度增强从非结构化剪枝迁移到结构化剪枝。
2.  在相同剪枝准则下，对偏差补偿与 LoRA 恢复进行了系统性比较，并在五个模型上进行了全面评估。

本文其余部分组织如下：第 2 节 (https://arxiv.org/html/2607.22587#S2) 回顾相关工作，第 3 节 (https://arxiv.org/html/2607.22587#S3) 描述所提出的方法，第 4 节 (https://arxiv.org/html/2607.22587#S4) 介绍实验设置和结果，第 5 节 (https://arxiv.org/html/2607.22587#S5) 总结全文。

## 2 相关工作

针对 LLMs 的结构化剪枝是从预训练模型中移除整个结构单元（头、神经元、通道），以产生更小的稠密架构，该架构可直接受益于标准的 GPU 内核[13 (https://arxiv.org/html/2607.22587#bib.bib27)]。方法在两个维度上有所不同：用于对结构进行排序的重要性准则，以及是否应用剪枝后恢复。

### 2\.1 基于梯度的方法

一阶泰勒展开提供了一个理论化的估计，衡量移除一个结构单元对损失的影响。LLM-Prune[20 (https://arxiv.org/html/2607.22587#bib.bib11)] 应用此准则并辅以近似 Hessian 信息，通过依赖图将参数耦合成结构组（头、MLP 神经元），并使用轻量级 LoRA 适配器恢复质量。然而，它需要存储所有预训练权重的完整梯度张量，使得大规模应用时内存密集。随后两种方法通过改为从较小的 LoRA 适配器矩阵计算泰勒重要性来解决此瓶颈：LoRAPrune[29 (https://arxiv.org/html/2607.22587#bib.bib16)] 能够在单个 A100 GPU 上剪枝 LLaMA-65B，并应用迭代渐进式剪枝；而 DyLoRA-Prun[18 (https://arxiv.org/html/2607.22587#bib.bib28)] 用动态低秩适应替代固定秩的 LoRA，在多个秩上同时学习表征，使得较低秩能捕获最关键信息。

另一条工作线使用二阶信息。SlimGPT[19 (https://arxiv.org/html/2607.22587#bib.bib15)] 扩展了最优脑外科医生 \(OBS\) 框架[12 (https://arxiv.org/html/2607.22587#bib.bib20)]（此前应用于非结构化剪枝 SparseGPT[10 (https://arxiv.org/html/2607.22587#bib.bib7)] 和量化 GPTQ[11 (https://arxiv.org/html/2607.22587#bib.bib19)]），引入了带分组 Cholesky 分解的批量贪婪剪枝（用于注意力头）和动态组大小调整（用于 MLP 通道）。即使没有微调，在 LLaMA-7B 上 50% 剪枝率时，也能达到 52.23% 的零样本平均准确率，优于带 LoRA 的 LLM-Pruner，同时在 20% 剪枝率下仅需 7 GB GPU 内存。

### 2\.2 无梯度方法

基于激活的准则完全避免了梯度计算。FLAP[2 (https://arxiv.org/html/2607.22587#bib.bib12)] 通过输入激活的样本方差（经平方权重列范数缩放）来给通道打分，并用一个固定的偏差校正替代低波动通道，无需梯度。类似地，Bonsai[16 (https://arxiv.org/html/2607.22587#bib.bib29)] 将重要性建模为回归问题，在随机采样子模型上拟合线性模型以估计每个模块的全局贡献，从而能够在单个 48 GB A6000 上进行剪枝，而基于梯度的方法需要 80–640 GB。Probe Pruning[17 (https://arxiv.org/html/2607.22587#bib.bib30)] 通过在线决策扩展了基于激活的范式：一个轻量级探针子集（5% 样本）提前通过几层，将结果状态与历史校准状态融合，使得当当前批次特征偏离校准时能占据主导，在 LLaMA-2-13B 上 40% 剪枝率时超越了 FLAP（常识准确率 61.0% vs. 60.6%），仅额外增加 1.5% 的 FLOPs。

另一系列无梯度方法在更粗糙的粒度上操作。SliceGPT[4 (https://arxiv.org/html/2607.22587#bib.bib13)] 利用 RMSNorm Transformer 在正交旋转下的计算不变性，将信号集中到前几个 PCA 成分中，并在整个模型上均匀切掉小特征值维度。在层级别，ShortGPT[21 (https://arxiv.org/html/2607.22587#bib.bib14)] 基于块影响移除整个 Transformer 层，观察到中间层冗余度最高；而 BlockPruner[30 (https://arxiv.org/html/2607.22587#bib.bib31)] 通过将 MHA 和 MLP 块视为独立剪枝单元并发现非对称冗余来改进此方法：低于 17% 剪枝率时，MHA 块更可舍弃，但超过该阈值后 MHA 变得关键，而 MLP 仍然容忍。

### 2\.3 非结构化剪枝中的梯度增强

在非结构化剪枝中，Wanda[24 (https://arxiv.org/html/2607.22587#bib.bib8)] 证明了一个简单的激活感知准则 S_{ij}=|W_{ij}|\cdot\|X_{j}\|_{2} 能在无需权重重建的情况下匹配 SparseGPT 的准确率。GBLM-Pruner[9 (https://arxiv.org/html/2607.22587#bib.bib9)] 用梯度项扩展了此分数，在 LLaMA-2-7B 上 50% 稀疏度时持续优于 Wanda 和 SparseGPT。Wanda++[27 (https://arxiv.org/html/2607.22587#bib.bib10)] 通过将梯度计算限制在单个解码器块内进一步降低了内存成本，并应用区域权重更新以最小化剪枝引起的输出差异。然而，这种梯度增强尚未被迁移到结构化通道评分中。

在这项工作中，我们提出 TriSP，通过将激活加权幅度与梯度敏感性相结合用于结构化剪枝，弥合了这一差距。

## 3 方法

所提出的方法作为一个三阶段流水线运行（图 1 (https://arxiv.org/html/2607.22587#S3.F1)）：重要性估计、通过自适应层模块 \(AL-AM\) 分配进行结构化剪枝，以及可选的低秩适应 \(LoRA\) 恢复。

============================================================

参见图说明图 1：所提出的 TriSP 结构化剪枝流水线概览。\(1\) 计算三信号重要性分数 S_{l,j}，即 WIFN_{l,j} 和 GS_{l,j} 的几何平均，结合了来自校准数据的每通道权重幅度、梯度敏感性和激活范数；\(2\) 通过 z-score 标准化跨层标准化分数，并应用统一阈值；\(3\) 物理移除被剪枝的头和神经元（具有自适应逐层保留比率），然后将 LoRA 适配器注入冻结的剪枝后权重，并在微调后合并。### 3\.1 校准

重要性估计需要从一个小型校准集中收集激活统计数据和梯度。对于每个样本，我们执行一次完整的模型前向传递以获得 logits，然后计算下一个词预测的逐样本交叉熵损失 L：

L = -\frac{1}{T-1}\sum_{t=1}^{T-1} \log P(x_{t+1}\mid x_1,\dots,x_t)  (1)
其中 T 是序列长度，x_t 是位置 t 处的 token。然后执行反向传播以产生权重梯度。所有 N 个校准样本的绝对梯度被累积，形成每权重的平均梯度幅度：

\bar{G}_{l,ij} = \frac{1}{N}\sum_{t=1}^{N}\left\|\frac{\partial \mathcal{L}^{(t)}}{\partial W_{l,ij}}\right\|  (2)
其中 W_{l,ij} 表示 Transformer 层 l 中线性层第 i 行、第 j 列的权重。

在前向传递期间，在每个 Transformer 层的输出投影和下投影处以运行平方 l2 范数的形式收集输入激活统计：

a_{l,j}^{(t)} = \frac{n}{n+b} a_{l,j}^{(t-1)} + \frac{\|X_{l,j}^{(t)}\|_2^2}{n+b}  (3)
其中 a_{l,j}^{(t)} 是步骤 t 时层 l 中输入通道 j 的累积平方激活范数，X_{l,j}^{(t)} 是对应的激活向量，n 是迄今为止看到的样本数，b 是当前批次大小。在所有校准批次之后，a_{l,j} 收敛到通道 j 处的平均平方激活范数。

尽管与 FLAP 相比，TriSP 需要额外的反向传播，但这仅在校准期间使每个样本的计算量大约翻倍，这是一次性成本，在单个 GPU 上几分钟内即可完成，而改进的剪枝质量证明了该开销是合理的。

### 3\.2 三信号结构化度量

我们提出了一种三信号重要性度量，它结合了来自 FLAP[2 (https://arxiv.org/html/2607.22587#bib.bib12)] 的结构信号和基于梯度的敏感性信号。对于权重矩阵为 W∈R^{d_{out}×d_{in}} 的线性层，我们定义两个每通道分量。第一个是*加权输入特征范数* \(WIFN\)，它捕获经激活范数缩放的权重幅度：

WIFN_{l,j} = \frac{1}{d_{out}}\sum_{i=1}^{d_{out}} \|W_{l,ij}\| \cdot \sqrt{a_{l,j}+\epsilon}  (4)
其中 W_{l,ij} 是层 l 中连接输入通道 j 到输出通道 i 的权重，d_{out} 是输出通道数，a_{l,j} 是来自公式 3 (https://arxiv.org/html/2607.22587#S3.E3) 的累积平方激活范数，ε=10^{-6}。

第二个是*梯度敏感性* \(GS\) 项，它捕获损失对每个通道的依赖程度，同样经激活范数缩放：

GS_{l,j} = \left( \frac{1}{d_{out}}\sum_{i=1}^{d_{out}} \|W_{l,ij}\| \cdot \bar{G}_{l,ij} \right) \cdot \sqrt{a_{l,j}+\epsilon}  (5)
其中 \bar{G}_{l,ij} 是来自公式 2 (https://arxiv.org/html/2607.22587#S3.E2) 的平均绝对梯度。最终重要性分数是这两个分量的几何平均：

S_{l,j} = \sqrt{ WIFN_{l,j} \cdot GS_{l,j} }  (6)
该公式捕获了三个互补的信号：

- •权重幅度 \|W_{l,ij}\|：通过大权重连接的通道携带更多信息。
- •梯度幅度 \bar{G}_{l,ij}：具有高梯度幅度的通道表明对模型性能更重要。
- •输入 a