通过幂变换和保号分数聚合实现自适应特征保留的大语言模型结构化剪枝

# 基于幂变换与符号保持分数聚合的自适应特征保留结构化剪枝方法（用于大型语言模型）

来源：https://arxiv.org/html/2607.08027

###### 摘要

本文提出一种改进的结构化剪枝方法，用于大型语言模型 \(LLMs\)，重点解决将自适应特征保留 \(AFR\)（一种非结构化剪枝技术）应用于结构化剪枝时的关键挑战。将 AFR 用于结构化剪枝时，会出现三个主要问题：异构剪枝分数之间的分布不匹配、表示优化方向一致性的符号信息丢失，以及异常值的影响。为解决这些问题，我们提出一种统一方法，结合了用于非线性分布对齐的幂变换、符号保持的分数聚合以及基于百分位数的异常值去除。在 Llama-3-8B、Vicuna-v1.5-13B 和 LLaVA-v1.5-13B 上的实验表明，我们的方法在保持与非结构化剪枝相当的精度的同时，通过结构化剪枝实现了实际的推理加速。

## 1 引言

大型语言模型 \(LLMs\) 在各种任务中展现出卓越的性能，但其数十亿个参数带来了巨大的计算成本和内存需求，阻碍了实际部署。剪枝作为一种移除冗余权重的方法，为模型压缩提供了一种有前景的方案。

剪枝方法分为非结构化剪枝和结构化剪枝。非结构化剪枝独立移除单个权重，精度高，但由于稀疏模式不规则，实际加速效果有限。结构化剪枝移除整个神经元或通道，能够在标准硬件上实现高效加速，但由于剪枝粒度降低，通常会导致更大的性能下降。

自适应特征保留 \(AFR\) \(Nittaet al.,2025 (https://arxiv.org/html/2607.08027#bib.bib1)\) 是一种非结构化剪枝方法，它通过标准化和求和，结合基于特征的 ReFer \(Nittaet al.,2024 (https://arxiv.org/html/2607.08027#bib.bib2)\) 和基于梯度的 SNIP \(Leeet al.,2019 (https://arxiv.org/html/2607.08027#bib.bib3)\) 分数，在保留预训练特征表示与适应下游任务之间取得平衡。当通过将权重级分数聚合成神经元级分数，将 AFR 应用于结构化剪枝时，会出现几个挑战：异构分数之间的分布不匹配（ReFer 的值范围很宽，而 SNIP 集中在 \([0, 1]\)）、表示优化方向一致性的符号信息丢失，以及异常值对简单平均的支配影响。

为了解决这些挑战，我们提出了一种集成方法，结合了用于非线性分布对齐的幂变换、符号保持的聚合以及基于百分位数的异常值去除。在 Llama-3-8B、Vicuna-v1.5-13B \(Zhenget al.,2023 (https://arxiv.org/html/2607.08027#bib.bib5)\) 和 LLaVA-v1.5-13B \(Liuet al.,2024 (https://arxiv.org/html/2607.08027#bib.bib6)\) 上的实验表明，我们的方法显著优于朴素的结构化 AFR，并且与现有结构化剪枝方法相比性能相当或更优，同时在 50% 剪枝率下实现了 1.56-1.57 倍的推理加速。

我们的主要贡献总结如下：

- • 我们识别出将 AFR 应用于结构化剪枝的三个基本挑战：异构剪枝分数之间的分布不匹配、表示优化方向一致性的符号信息丢失，以及分数聚合过程中异常值的影响。
- • 我们提出了一种集成方法，通过以下方式应对这些挑战：(1) 用于非线性分布对齐的幂变换，(2) 用于评估优化方向一致性的符号保持分数聚合，以及 (3) 用于鲁棒聚合的基于百分位数的异常值去除。
- • 我们在三个模型（Llama-3-8B、Vicuna-v1.5-13B 和 LLaVA-v1.5-13B）上进行了全面实验，证明我们的方法相比朴素平均有显著提升（最多提升 21.27 个点），并且优于现有结构化剪枝方法，同时实现了实际的推理加速（50% 剪枝率下 1.56-1.57 倍）。

## 2 背景：自适应特征保留

自适应特征保留 \(AFR\) \(Nittaet al.,2025 (https://arxiv.org/html/2607.08027#bib.bib1)\) 是一种用于预训练模型的非结构化剪枝方法，它结合了 ReFer \(Nittaet al.,2024 (https://arxiv.org/html/2607.08027#bib.bib2)\) 和 SNIP \(Leeet al.,2019 (https://arxiv.org/html/2607.08027#bib.bib3)\)，以平衡保留学习到的特征空间与适应下游任务。权重 \(\theta_n\) 的 AFR 剪枝分数 \(S_{AFR}(\theta_n)\) 定义为：

\[
S_{AFR}(\theta_n) = \mathcal{Z}\left(\left\|\frac{\partial \sum_{l=1}^{L} F_{svd}^l}{\partial \theta_n} \theta_n\right\|\right) + \mathcal{Z}\left(\left\|\frac{\partial \mathcal{L}}{\partial \theta_n} \theta_n\right\|\right) \quad (1)
\]

其中 \(\mathcal{Z}(\cdot)\) 表示标准化（z-score 归一化），第一项代表 ReFer，第二项代表 SNIP。这里，\(F_{svd}^l\) 是层 \(l\) 输出特征的奇异值分解得到的平均奇异值，\(\mathcal{L}\) 是任务特定的损失函数。

ReFer 侧重于通过测量每个权重如何影响预训练期间捕获的特征空间几何结构，来维持特征表示。它计算特征空间特性相对于每个权重的敏感性，识别出对保留学习到的表示至关重要的参数。然而，尽管 ReFer 擅长维持预训练知识，但它可能无意中移除适应下游任务所必需的权重，因为它不直接考虑任务特定目标。

另一方面，SNIP 使用损失梯度与权重的乘积作为剪枝分数，直接测量每个权重对任务特定损失函数的贡献。这种基于梯度的方法自然识别出对当前任务重要的参数。然而，对于预训练模型，许多权重已经收敛到接近最优的值，导致梯度很小（\(\frac{\partial \mathcal{L}}{\partial \theta_n} \approx 0\)），无法准确反映其重要性。这使得仅靠 SNIP 不足以在预训练模型背景下正确评估重要性。

通过标准化和求和结合两种分数，AFR 实现了有效的剪枝，既保留了预训练知识，又实现了任务适应。标准化确保两种分数尽管尺度不同，但仍能做出同等贡献，使得组合分数能够同时捕获特征保留和任务相关性。

## 3 将 AFR 应用于结构化剪枝的挑战

为了用 AFR 实现推理加速，我们将其权重级剪枝分数应用于结构化剪枝。本节识别出这种适应过程中出现的问题。

### 3.1 结构化剪枝的朴素聚合

为了将非结构化的 AFR 方法应用于结构化剪枝，我们考虑使用朴素平均进行分数聚合，如图 1 所示。首先，我们计算权重矩阵中每个元素的剪枝分数。然后，我们聚合每个神经元内的分数，并计算神经元级的平均分数 \(\bar{S}_j\)：

\[
\bar{S}_j = \frac{1}{m} \sum_{i=1}^{m} |S_{ij}| \quad (2)
\]

其中 \(S_{ij}\) 是神经元 \(j\) 中第 \(i\) 个权重的剪枝分数，\(m\) 是每个神经元的权重数量。最后，根据目标剪枝率移除平均分数最低的神经元。

参考图注 图 1：用于结构化剪枝的剪枝分数聚合过程。

表 1：初步实验结果（准确率 %）。

### 3.2 朴素聚合的问题

表 1 显示，将朴素平均应用于 LLMs 上的 AFR 会导致自然语言基准测试中的严重性能下降。我们识别出三个潜在问题：

**问题 1：异构分数之间的分布不匹配。** ReFer 和 SNIP 分数具有根本不同的分布特征。ReFer 分数值范围宽且分布相对均匀，而 SNIP 分数由于预训练模型中梯度较小，集中于狭窄的 \([0, 1]\) 范围。公式 (1) 中的简单标准化线性放大了 SNIP 密集聚集的低重要性参数之间的微小差异，从而向 AFR 分数中引入噪声。这种噪声破坏了 ReFer 的重要性判断，降低了剪枝精度。

**问题 2：优化方向一致性丢失。** ReFer 和 SNIP 分数计算为梯度与权重的乘积，其中符号编码了优化过程中的权重行为。在权重更新规则 \(\theta \leftarrow \theta - \eta \frac{\partial L}{\partial \theta}\) 中，正分数表示权重幅值减小，负分数表示幅值增大。对于结构化剪枝，神经元内优化方向的一致性至关重要。当一个神经元内的所有权重以相同方向优化时，该神经元具有结构连贯的角色。相反，方向混合表示内部抵消效应和有限的整体贡献。然而，公式 (2) 在平均之前取绝对值，丢弃了这种方向一致性信息，阻碍了正确的神经元级重要性评估。

**问题 3：异常值的影响。** 图 2 显示了一层中 ReFer 的权重级分数分布。大多数分数集中在相对狭窄的范围内，但两端存在极端异常值。完整的分数范围从 -2,884 到 9,803（宽度：12,687），但移除极端 2% 后，范围宽度减少到 48.8。通过朴素平均，异常值的存在与否可能颠倒神经元级分数的相对顺序，从而妨碍正确的重要性评估。

参考图注 图 2：AFR 剪枝分数的示例分布，显示集中在中心，尾部有极端异常值。

## 4 提出的方法

我们提出一种集成方法，结合三种技术来解决上述识别出的问题。

### 4.1 通过幂变换进行非线性分布对齐

为了解决问题 1，我们在标准化之前对 SNIP 分数应用幂变换。对于 SNIP 分数 \(s_n^{\text{SNIP}}\)，我们应用：

\[
\hat{s}_n^{\text{SNIP}} = \left(s_n^{\text{SNIP}}\right)^b \quad (3)
\]

其中 \(b > 1\)。对于 \(0 \leq s_n^{\text{SNIP}} < 1\)，此变换具有两个关键属性，可解决分布不匹配问题。

首先，它在低重要性区域提供噪声抑制。由于对于接近 0 的值 \(x^b \ll x\)，低重要性参数中的微小差异被非线性压缩，从而有效滤除 SNIP 分数中密集聚集的低重要性区域的噪声。

其次，它能够保留高重要性区域的信号。对于接近 1 的值，\(x^b \approx x\) 近似成立，从而保留了高重要性参数的信息。这种非对称行为创造了一种软阈值效应，其中噪声抑制强度根据重要性大小连续调整。

在幂变换之后，我们对变换后的分数应用标准化。为了量化分布质量的改进，我们分析信噪比 (SNR)。设 \(\mu_{\text{signal}}\) 表示高重要性分数（按幅值排序的前 10%）的平均绝对值，\(\sigma_{\text{noise}}\) 表示低重要性分数（后 50%）的标准差。幂变换前后的 SNR 可以表示为：

\[
\text{SNR}_{\text{original}} = \frac{\mu_{\text{signal}}}{\sigma_{\text{noise}}}, \quad \text{SNR}_{\text{transformed}} = \frac{\mu_{\text{signal}}^b}{\sigma_{\text{noise}}^b} \quad (4)
\]

由于 SNIP 分数集中在 \([0, 1]\) 且大部分值接近 0，因此有 \(\sigma_{\text{noise}} < \mu_{\text{signal}} < 1\)。对于 \(b > 1\)，幂函数满足：当 \(x \ll 1\) 时 \(x^b \ll x\)，当 \(x \approx 1\) 时 \(x^b \lesssim x\)，这意味着 \(\sigma_{\text{noise}}^b \ll \mu_{\text{signal}}^b\)。因此，比值 \(\text{SNR}_{\text{transformed}} / \text{SNR}_{\text{original}} = (\mu_{\text{signal}} / \sigma_{\text{noise}})^{b-1}\) 随着 \(b\) 的增加呈指数增长，表明幂变换放大了信号与噪声之间的相对区分度。图 3 说明了这种效果：左侧直方图显示幂变换如何在标准化之前压缩低值区域，而右侧直方图显示这种压缩如何在标准化后带来更好的集中度。

幂变换降低了方差 \(\sigma_{\hat{S}}^2\) 相对于原始分数，导致标准化除法对剩余分布产生更强的拉伸效果。然而，关键的是，只有变换后剩余的信号分量被拉伸，而噪声已经在之前的步骤中被抑制。在尺度调整过程中改善的 SNR 使得能够更有效地与 ReFer 分数集成。

参考图注 图 3：幂变换前后 (\(b=2.7\)) 的分布比较。左侧：标准化前的 SNIP 分数分布显示幂变换如何压缩密集聚集的低值区域。右侧：标准化后的分布显示改进的集中度，变换后的分布（橙色）在低重要性区域展宽减少，同时保持高重要性值的分离。

### 4.2 符号保持的分数聚合

为了解决问题 2，我们提出使用平均后取绝对值的聚合方法。我们不采用公式 (2) 中平均前取绝对值的方式，而是先计算每个神经元内带符号剪枝分数的平均值，然后在平均后取绝对值。

这种方法利用符号信息来评估优化方向一致性。如果所有权重具有一致的符号，则平均值保持较大的幅值。相反，如果权重符号混合，则平均值由于相互抵消而趋近于零。这自然量化了方向一致性的程度。

具有一致优化方向的神经元表示结构连贯的角色，其中所有权重朝着同一目标协同工作，使其值得保留。相比之下，方向混合的神经元表现出内部抵消效应，表明整体贡献有限。通过在聚合过程中保留符号信息，我们的方法能够正确评估这种结构化属性，以用于结构化剪枝。

### 4.3 基于百分位数的异常值去除

为了减轻问题 3 的异常值影响，我们引入基于百分位数的异常值去除。为了确定最佳去除率，