Super-Tuning: 从激活感知剪枝到稀疏微调

# 超调优：从激活感知剪枝到稀疏微调 来源：https://arxiv.org/html/2607.09287 Ivan Ilin， Philip Zmushko，222工作完成于Philip Zmushko在KAUST实习期间；他目前隶属于ISTA，在加入KAUST之前曾隶属于Yandex Research. Peter Richtárik， KAUST， KAUST， KAUST [email protected]， [email protected]， [email protected]

###### 摘要

大型语言模型（LLM）的微调仍然成本高昂，因为全参数更新需要大量的内存、计算和每任务存储。我们研究最初为剪枝开发的重要性信号是否可以重复用于选择模型应该在哪里适应。我们提出 **Super**，一种稀疏参数高效微调（PEFT）方法，它使用从校准前向传播中计算的 Wanda 风格的激活加权幅度分数（Sun et al., 2023（https://arxiv.org/html/2607.09287#bib.bib16））固定一个小的可训练支持集。然后我们介绍 **Supra**，一种混合适配器，它将这种稀疏更新与 LoRA 结合，同时通过一个简单的预算分割规则保持匹配的可训练参数预算。在 Llama-3.2-1B 和 Meta-Llama-3-8B 上的单次运行 Math17K 算术实验中，最佳 Super/Supra 变体在测试的调度选择适配器配置中达到了最高的平均准确率。我们还包含一个 PaFi 风格的仅幅度支持作为最接近的无训练稀疏基线，并发现幅度和 Wanda 风格排序下的低分数支持都是有效的。这些结果表明，简单的剪枝启发的排序可以为 PEFT 提供有用的固定稀疏支持，特别是与低秩适配器结合使用时。

11footnotetext: 代码仓库：https://github.com/vectozavr/SuperTuning。

## 1 引言

大型语言模型（LLM）已成为现代自然语言处理的核心，在包括问答、总结、代码生成和推理在内的广泛任务中取得了强劲成果。然而，它们令人印象深刻的能力伴随着巨大的成本：全量微调这些模型需要大量的计算资源、高内存消耗以及每个下游任务的巨大存储空间。当在资源受限或需要个性化定制的现实场景中部署模型时，这种低效性变得尤为突出。为了解决这些限制，提出了*参数高效微调*（PEFT）方法。这些方法只更新模型参数的一小部分，保持大部分权重冻结。其中最成功的 PEFT 技术之一是 LoRA（Hu et al., 2021（https://arxiv.org/html/2607.09287#bib.bib56）），它将低秩可训练矩阵注入到现有层中。LoRA 使得以最小的参数开销进行调优成为可能，并因其效率和性能的平衡而被广泛采用。除了低秩适应，最近的工作还探索了*稀疏适应*，其中只更新一小部分选定的现有权重。诸如 SIFT（Song et al., 2023（https://arxiv.org/html/2607.09287#bib.bib75））和 RoSA（Nikdan et al., 2024（https://arxiv.org/html/2607.09287#bib.bib76））等方法基于重要性分数或梯度信号选择显著权重进行微调。PaFi（Liao et al., 2023（https://arxiv.org/html/2607.09287#bib.bib85））则表明，可以通过仅使用预训练权重幅度，在无需数据或梯度的情况下生成任务无关的稀疏掩码。NeFT（Xu et al., 2024（https://arxiv.org/html/2607.09287#bib.bib78））进一步通过识别并仅训练最关键的神经元来推动这一方向。SpIEL（Ansell et al., 2024（https://arxiv.org/html/2607.09287#bib.bib79））引入了具有结构化专家层的可扩展稀疏调优，SAT（Ma et al., 2024（https://arxiv.org/html/2607.09287#bib.bib80））提出了通过精心选择的更新进行稀疏加速训练。S²FT（Yang et al., 2024（https://arxiv.org/html/2607.09287#bib.bib81））将稀疏性与结构化分解相结合，实现高效且可泛化的调优，而 GIFT-SW（Zhelnin et al., 2024（https://arxiv.org/html/2607.09287#bib.bib82））则使用噪声注入的微调方法在显著权重上进行训练，以提高鲁棒性。最近的显著性感知稀疏 PEFT 工作进一步研究了静态和动态掩码，并比较了几种用于稀疏微调的显著性指标（Liu et al., 2025（https://arxiv.org/html/2607.09287#bib.bib84））。虽然稀疏调优方法很有前景，但它们通常需要多个训练阶段、梯度计算或架构修改来识别重要权重。改进参数高效调优的一个自然方法是将稀疏更新和低秩更新结合起来。这一方向在预训练设置中也由 SLTrain（Han et al., 2024（https://arxiv.org/html/2607.09287#bib.bib83））探索，并且更直接地针对 PEFT，由 RoSA（Nikdan et al., 2024（https://arxiv.org/html/2607.09287#bib.bib76））探索，它集成了稀疏和低秩适配器。诸如 AdaLoRA（Zhang et al., 2023（https://arxiv.org/html/2607.09287#bib.bib88））和 DoRA（Liu et al., 2024（https://arxiv.org/html/2607.09287#bib.bib89））等低秩变体也表明，通过改变秩分配或权重分解，可以改进基本的 LoRA 参数化。

我们研究一个源自剪枝的、激活感知的、无训练的显著性分数是否能提供有用的固定稀疏支持用于 PEFT，以及这个支持是否能在透明的参数计数预算下补充 LoRA。在本文中，我们介绍 **Super**，一种基于 Wanda 排序权重的稀疏 PEFT 方法。受诸如 Wanda（Sun et al., 2023（https://arxiv.org/html/2607.09287#bib.bib16））等剪枝技术的启发，Super 在激活加权幅度度量下识别并微调一小部分权重。与需要额外梯度计算或训练阶段进行权重选择的稀疏 PEFT 方法不同，Super 依赖于一个简单、可解释、无训练的度量，该度量从校准激活中计算得出。我们研究 TopK 和 BottomK 两种模式，分别选择最大和最小的 Wanda 风格分数。在我们调度选择的算术推理比较中，低分数支持通常给出最强的稀疏和稀疏-低秩变体，尽管最佳方向可能取决于模型大小、训练计划以及稀疏支持是单独使用还是与 LoRA 结合。我们还测试了一个 PaFi 风格的仅幅度选择规则，用 \|W_ij\| 替换 Wanda 分数，以将激活加权的影响与更简单的预训练幅度先验分离开，并提供最接近的无训练稀疏基线。我们进一步提出 **Supra**，一种混合方法，将 Super 与 LoRA 结合，以联合利用 Wanda 选择的稀疏更新和低秩适应。该设计与混合稀疏-低秩方法（如 RoSA（Nikdan et al., 2024（https://arxiv.org/html/2607.09287#bib.bib76）））属于同一广泛家族；主要区别在于我们的稀疏支持是使用无训练分数一次性选择的，并且我们在匹配的标量参数预算下明确比较 Wanda 风格和仅幅度 BottomK 支持。

我们的实验在两个 Llama 系列模型上对 Math17K 进行微调，并在匹配的可训练参数预算下评估 AddSub、MultiArith、SingleEq、GSM8K、AQuA 和 SVAMP 上的算术推理能力。我们总结主要贡献如下：

- • 我们提出 **Super**，一种 Wanda 排序的稀疏微调方法，仅更新一小部分无需训练或梯度统计即可选择的权重。
- • 我们引入 **Supra**，一种混合 PEFT 策略，在显式参数计数预算下结合 Wanda 选择的稀疏更新与 LoRA。
- • 我们使用一个简单的预算匹配秩转换规则，将固定的参数计数预算映射为逐层 LoRA 秩；与自适应秩分配方法不同，该规则是一个透明的预算转换，而不是学习或重要性加权的分配。
- • 我们在匹配的可训练参数预算下，对 Math17K 算术微调评估了 LoRA、SIFT、RoSA、随机稀疏支持、PaFi 风格幅度支持、Super 和 Supra。在报告的单次运行调度选择比较中，最佳稀疏和稀疏-低秩变体在测试的适配器配置中达到了最高的平均准确率。表 1（https://arxiv.org/html/2607.09287#S1.T1）和表 2（https://arxiv.org/html/2607.09287#S1.T2）总结了主要的匹配预算算术比较，表 3（https://arxiv.org/html/2607.09287#S1.T3）收集了相应的稀疏掩码规则、平均准确率和平均困惑度。Supra-Mag 表示与 Supra 相同的稀疏-低秩预算分割，但稀疏支持由 bottom \|W_ij\| 选择而不是 Wanda 分数选择。完整的一次和三次训练轮次 Math17K 运行的每个基准准确率和困惑度表格报告在附录 C.2.2（https://arxiv.org/html/2607.09287#A3.SS2.SSS2）、C.2.3（https://arxiv.org/html/2607.09287#A3.SS2.SSS3）、C.3.2（https://arxiv.org/html/2607.09287#A3.SS3.SSS2）和 C.3.3（https://arxiv.org/html/2607.09287#A3.SS3.SSS3）部分。下面的紧凑表格是附录中报告的一次和三次训练轮次完整网格的调度选择摘要。它们旨在突出匹配预算协议下每个方法系列的最佳观察配置。两个表格采用相同的阅读惯例：对于每种方法，我们报告一次或三次训练轮次中具有更高平均精确答案准确率的运行，并且“训练轮次”列给出所选计划。粗体表示最佳观察匹配预算适配器平均值，阴影行是提出的方法，所有条目均为跨 AddSub、MultiArith、SingleEq、GSM8K、AQuA 和 SVAMP 的精确答案准确率（%）。

### 1.1 符号说明

本文中使用的所有关键符号以表格形式总结在附录 A（https://arxiv.org/html/2607.09287#A1）中；见表6（https://arxiv.org/html/2607.09287#A1.T6）。

**表1：Llama-3.2-1B 在秩等效预算 r0=8 下的调度选择 Math17K 算术比较。**  
| 方法 | 训练轮次 | 选择的学习率 | AddSub | MultiArith | SingleEq | GSM8K | AQuA | SVAMP | 平均 |
|------|----------|--------------|--------|------------|----------|-------|------|-------|------|
| 基础（冻结） | – | – | 13.67 | 4.67 | 21.46 | 2.81 | 21.65 | 11.60 | 12.64 |
| 全量微调 | 3 | 5·10⁻⁵ | 80.00 | 91.67 | 85.63 | 44.05 | 28.74 | 64.10 | 65.70 |
| LoRA | 3 | 5·10⁻⁴ | 70.63 | 90.83 | 85.24 | 35.33 | 26.77 | 57.60 | 61.07 |
| RoSA | 1 | 5·10⁻⁴ | 71.65 | 89.17 | 78.35 | 27.98 | 24.80 | 53.70 | 57.61 |
| SIFT (TopK) | 1 | 10⁻⁴ | 60.51 | 83.17 | 63.19 | 23.4 | 3.94 | 40.30 | 45.75 |
| SIFT (RandK) | 1 | 10⁻³ | 62.28 | 90.83 | 73.62 | 31.46 | 17.72 | 48.70 | 54.10 |
| 幅度 (BottomK) | 1 | 10⁻³ | 73.92 | 90.50 | 81.69 | 30.25 | 24.80 | 54.70 | 59.31 |
| Super (BottomK) | 3 | 5·10⁻⁴ | 69.11 | 85.50 | 70.47 | 34.50 | 25.59 | 47.60 | 55.46 |
| Supra-Mag (BottomK, λ=0.3) | 1 | 5·10⁻⁴ | 76.71 | 91.67 | 81.10 | 22.97 | 27.56 | 55.10 | 59.18 |
| Supra (BottomK, λ=0.8) | 3 | 5·10⁻⁴ | 82.53 | 85.50 | 84.45 | 36.16 | 24.41 | 60.30 | 62.23 |

**表2：Meta-Llama-3-8B 在秩等效预算 r0=8 下的调度选择 Math17K 算术比较。**  
| 方法 | 训练轮次 | 选择的学习率 | AddSub | MultiArith | SingleEq | GSM8K | AQuA | SVAMP | 平均 |
|------|----------|--------------|--------|------------|----------|-------|------|-------|------|
| 基础（冻结） | – | – | 22.53 | 21.00 | 36.42 | 10.24 | 24.02 | 24.10 | 23.05 |
| 全量微调 | 3 | 5·10⁻⁵ | 90.63 | 96.17 | 93.70 | 54.36 | 38.19 | 76.20 | 74.87 |
| LoRA | 1 | 5·10⁻⁴ | 86.33 | 97.67 | 93.70 | 66.34 | 24.41 | 70.60 | 73.17 |
| RoSA | 1 | 10⁻⁴ | 86.84 | 97.50 | 92.72 | 58.45 | 35.83 | 79.60 | 75.16 |
| SIFT (TopK) | 1 | 10⁻⁴ | 86.58 | 98.50 | 94.69 | 63.76 | 35.04 | 79.10 | 76.28 |
| SIFT (RandK) | 1 | 10⁻³ | 84.30 | 98.33 | 93.50 | 63.99 | 45.28 | 81.60 | 77.83 |
| 幅度 (BottomK) | 1 | 10⁻³ | 90.89 | 97.33 | 95.08 | 68.01 | 41.73 | 81.10 | 79.02 |
| Super (BottomK) | 3 | 10⁻⁴ | 72.15 | 95.67 | 88.58 | 66.34 | 42.91 | 70.70 | 72.73 |
| Supra (BottomK, λ=0.3) | 1 | 5·10⁻⁴ | 89.11 | 95.33 | 96.06 | 67.63 | 41.34 | 82.50 | 78.66 |
| Supra-Mag (BottomK, λ=0.3) | 1 | 5·10⁻⁴ | 92.91 | 98.50 | 96.85 | 69.83 | 35.43 | 81.20 | 79.12 |

**表3：调度选择的主文本行摘要。微调数据集：Math17K；秩等效预算：r0=8。分数列给出用于对候选稀疏坐标排序的逐权重标量；X_j: 表示输入到层第 j 列的校准激活向量。平均准确率是跨 AddSub、MultiArith、SingleEq、GSM8K、AQuA 和 SVAMP 的精确答案准确率（%）；平均 PPL 是相同基准集上的测试困惑度，越低越好。**  
| 方法 | 逐权重分数 | Llama-3.2-1B | Meta-Llama-3-8B |
|------|------------|--------------|-----------------|
|      |            | 准确率 | PPL  | 准确率 | PPL  |
| 基础（冻结） | – | 12.64 | 2.73 | 23.05 | 2.22 |
| 全量微调 | 所有参数 | 65.70 | 1.11 | 74.87 | 1.07 |
| LoRA | – | 61.07 | 1.17 | 73.17 | 1.14 |
| RoSA | \left\|\frac{\partial\mathcal{L}}{\partial W_{ij}}\right\| | 57.61 | 1.27 | 75.16 | 1.18 |
| SIFT (TopK) | \left\|\frac{\partial\mathcal{L}}{\partial W_{ij}}\right\| | 45.75 | 1.33 | 76.28 | 1.18 |
| SIFT (RandK) | \mathrm{Unif}(0,1) | 54.10 | 1.25 | 77.83 | 1.13 |
| 幅度 (BottomK) | \left\|W_{ij}\right\| | 59.31 | 1.24 | 79.02 | 1.13 |
| Super (BottomK) | \left\|W_{ij}\right\|\left\|X_{j:}\right\|_2 | 55.46 | 1.21 | 72.73 | 1.31 |
| Supra (BottomK, λ=0.3) | \left\|W_{ij}\right\|\left\|X_{j:}\right\|_2 | 55.03 | 1.26 | 78.66 | 1.14 |
| Supra (BottomK, λ=0.8) | \left\|W_{ij}\right\|\left\|X_{j:}\right\|_2 | 62.23 | 1.16 | 78.28 | 1.14 |
| Supra-Mag (BottomK, λ=0.3) | \left\|W_{ij}\right\| | 59.18 | 1.25 | 79.12 | 1.14 |

## 2 相关工作

### 2.1 参数高效微调（PEFT）

更新大型语言模型（LLM）所有参数所带来的高昂计算和内存成本，促生了大量关于*参数高效微调*（PEFT）的研究文献。经典的适配器风格方法将小的*密集*模块插入每个 Transformer 块（例如，适配器、前缀调优和 LoRA），大大减少了可训练参数、优化器状态和每任务存储。补充性工作研究*稀疏*或其他*结构化*更新，这些更新明确选择要训练的参数子集，将自适应集中在更小的任务特定自由度集合上。

### 2.2 稀疏微调

几篇论文报告称，即使在推理密集型任务中，当模型仅更新其权重的一小部分时，也能恢复高准确率。Song 等人（2023（https://arxiv.org/html/2607.09287#bib.bib75））分析了 PEFT 的 PAC-Bayesian 泛化界，并提出了 SIFT，一种基于梯度的算法，在训练期间每层最多激活 k 个参数。Ansell 等人（2024（https://arxiv.org/html/2607.09287#bib.bib79））表明，动态增长-剪枝的稀疏 delta 可以扩展到 13B 参数的 LLaMA-2，同时保持内存与稀疏模式成比例，而不是与模型大小成比例。正交地，Ma 等人（2024（https://arxiv.org/html/2607.09287#bib.bib80））利用观察结果，即每个示例上只有少数神经元激活，并跳过不活跃神经元的前向/反向传播，从而将持续预训练和监督微调加速高达 45%。基于结构化稀疏性，Yang 等人（2024（https://arxiv.org/html/2607.09287#bib.bib81））引入了 S²FT，它选择一小部分注意力头和 MLP 通道，然后共同排列权重矩阵，使得选定的组件形成密集子矩阵，可以使用普通 GEMM 内核高效训练。对于非结构化的权重级稀疏掩码，不同方法主要在于用于对候选坐标排序的标量分数不同。给定微调损失 L，我们将条目 W_ij 的梯度幅度分数写为 G_ij = \left\|\frac{\partial L}{\partial W_{ij}}\right\|。这是我们在方法总结表中用于基于梯度的稀疏方法的分数符号。