Aletheia：基于梯度引导的层选择方法，实现跨架构的高效LoRA微调

# 梯度引导的层选择方法：面向高效跨架构LoRA微调

来源：https://arxiv.org/html/2604.15351  
Abdulmalek Saket  
Royal Fenice Kft / ALETHEIA PROTOCOL research  
布达佩斯，匈牙利  
abdulmalek@fenicebrand\.com  

（2026年3月）

###### 摘要

低秩适应（Low-Rank Adaptation, LoRA）已成为大语言模型最主流的参数高效微调方法。然而，标准实践对所有Transformer层统一应用LoRA适配器，而不考虑它们与下游任务的相关性。我们提出Aletheia，一种梯度引导的层选择方法，通过轻量级梯度探测识别与任务最相关的层，并仅在这些层上应用非对称秩分配的LoRA适配器。在涵盖14个成功模型（来自8个架构家族，参数规模0.5B–72B，包括密集和混合专家架构）的81个实验行中，以及在Campaign 2中一次额外记录的Pythia/GPT-NeoX失败尝试，Aletheia实现了15–28%的训练加速（均值23.1%，p<0.001），具有有界的额外遗忘，并在所评估的MMLU、GSM8K和HumanEval基准包上大致匹配下游行为。在测试的家族和规模中，Campaign 1展现了100%的每模型速度胜率，Campaign 2在有限退化框架下展现了大体保持的下游行为。这些结果共同支持了一个实际的模型经济主张：智能层选择能够在所评估的集合上不引入重大下游损害的前提下，使LoRA微调显著更高效。

## 1 引言

参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法，尤其是低秩适应（Low-Rank Adaptation）(Hu et al., 2022 (https://arxiv.org/html/2604.15351#bib.bib6))，已成为在不承受全参数微调高昂成本的前提下，将大语言模型（LLMs）适配到下游任务的关键技术。标准LoRA对所有注意力和MLP层统一应用低秩适配器，将每个Transformer块视为对目标任务同等重要。

这种统一方法并非最优：并非所有层对任务特定学习做出同等贡献。先前关于结构化层丢弃和选择性适配的工作(Fan et al., 2020 (https://arxiv.org/html/2604.15351#bib.bib4); Sharma et al., 2023 (https://arxiv.org/html/2604.15351#bib.bib8); Zhang et al., 2023 (https://arxiv.org/html/2604.15351#bib.bib9))表明，Transformer层对微调数据的敏感度各不相同，某些层主要作为“直通（pass-through）”块，仅添加最小的任务相关变换。

我们提出Aletheia，一种简单而有效的方法：

1. 1.执行轻量级梯度探测（5次前向-反向传播），以每层梯度范数为任务相关性代理；
2. 2.按梯度幅度选择顶部50%的层；
3. 3.仅对所选层应用非对称秩分配的LoRA适配器。

关键见解是：通过跳过低梯度层，我们消除了不必要的适配器计算和内存开销，同时保持——有时甚至改善——标准全层LoRA所达到的质量。

我们的贡献如下：

- •一种梯度引导的层选择算法，仅需5个探测批次，增加了可忽略的开销（<2%的总训练时间）；
- •对选择性LoRA进行了广泛的跨架构评估：14个成功模型、8个家族、参数规模0.5B–72B，包括MoE (Mixtral 8×7B)；
- •在整个Campaign 1模型集上展现了一致的加速效果（100%胜率，p<0.001），且遗忘有限（核心评估集上额外MMLU退化≤0.50 pp）；
- •完全可重复：每个模型3个种子，配对统计检验，以及覆盖报告实验的冻结证据包。

## 2 相关工作

#### 参数高效微调。

LoRA (Hu et al., 2022 (https://arxiv.org/html/2604.15351#bib.bib6)) 将可训练的低秩矩阵注入冻结的Transformer权重中，与全参数微调相比，将可训练参数减少了10–100倍。后续工作包括QLoRA (Dettmers et al., 2023 (https://arxiv.org/html/2604.15351#bib.bib3))（4位量化基权重）、DoRA (Liu et al., 2024 (https://arxiv.org/html/2604.15351#bib.bib7))（权重分解适配）、以及AdaLoRA (Zhang et al., 2023 (https://arxiv.org/html/2604.15351#bib.bib9))（自适应秩分配）。大多数方法对所有层统一应用适配器。

#### 层重要性与选择。

LayerDrop (Fan et al., 2020 (https://arxiv.org/html/2604.15351#bib.bib4)) 在训练期间对层级别应用结构化丢弃。LASER (Sharma et al., 2023 (https://arxiv.org/html/2604.15351#bib.bib8)) 发现，从某些层移除特定的低秩组件可以提高模型的真实度。这些发现激励了我们的基于梯度的选择性适配方法。

#### 自适应LoRA。

AdaLoRA (Zhang et al., 2023 (https://arxiv.org/html/2604.15351#bib.bib9)) 通过重要性评分在训练期间动态调整秩。我们的方法不同之处在于，在训练开始之前基于快速梯度探测做出二值层选择决策，这更简单且不引入训练时的开销。

## 3 方法

### 3.1 概述

给定一个预训练模型 \(\mathcal{M}\)，具有 \(L\) 个Transformer层，以及一个微调数据集 \(\mathcal{D}\)，Aletheia 分三个阶段进行：

1. 梯度探测（§3.2）：在 \(\mathcal{D}\) 的一个小样本上计算每层梯度范数。
2. 层选择（§3.3）：按梯度幅度选择顶部 \(k\%\) 的层。
3. 选择性LoRA训练（§3.4）：仅对所选层应用非对称秩分配的LoRA适配器，然后训练与标准LoRA相同步数。

### 3.2 梯度探测

对于每一层 \(\ell \in \{0, \ldots, L-1\}\)，我们计算累积梯度范数：

\[
g_{\ell} = \sum_{b=1}^{B} \left\| \nabla_{\theta_{\ell}} \mathcal{L}(x_b; \theta) \right\|_2 \tag{1}
\]

其中 \(B=5\) 个探测批次，\(\theta_{\ell}\) 表示层 \(\ell\) 的参数，\(\mathcal{L}\) 是因果语言建模损失。

为了保持有界GPU内存，我们以8层为一块处理层：对于每个块，仅在层 \([\ell_{\text{start}}, \ell_{\text{end}})\) 内的参数上设置 `requires_grad=True`，而所有其他参数冻结。处理完所有块后，梯度范数被归一化并排序。

### 3.3 层选择

层按 \(g_{\ell}\) 降序排列。选择顶部 \(k\%\)（默认 \(k=50\)）：

\[
S = \text{top-}k\%\{(\ell, g_{\ell}) : \ell \in [0, L)\} \tag{2}
\]

选择的集合 \(S\) 标识了“任务相关”层，这些层对微调数据表现出最高的敏感度。

### 3.4 选择性LoRA训练

LoRA适配器（秩 \(r=16\)，\(\alpha=32\)）仅应用于层 \(\ell \in S\) 中的注意力和MLP模块。标准LoRA（所有层）和Aletheia（选定层）使用相同的优化超参数：

- •优化器：AdamW（\(\beta_1=0.9\)，\(\beta_2=0.95\)，\(\epsilon=10^{-7}\)，权重衰减=0.01）
- •学习率：\(5 \times 10^{-4}\)（按模型缩放），余弦调度，20步预热
- •训练步数：匹配的Campaign 1 / Campaign 2比较中固定为200步；计算匹配的Campaign 2运行中为250步
- •梯度累积：2步
- •精度：bf16（Qwen, Phi）或fp16（Llama, Mistral等）；在16GB上对≥7B模型使用QLoRA 4位

通过适配50%的层，Aletheia将可训练LoRA参数减少了约4–16%，更重要的是，消除了跳过层中适配器模块的前向/反向计算，从而获得15–28%的挂钟加速。

### 3.5 自动配方发现（支持性证据）

除了贯穿本文的跨家族“Aletheia Matched”协议外，我们在Qwen2.5-3B上运行了一个独立的自动配方搜索流水线（“AutoResearch for LoRA”）。该流水线运行梯度探测，执行8臂快速扫描（150步），将顶级候选者推进到完整运行（500步），执行推高实验，然后通过12次运行、3个种子的因子消融验证获胜者。搜索阶段的获胜者是 `ffn_lr_high`（12个梯度选择的层，MLP秩64，注意力秩16），这确立了12层作为最佳快速扫描权衡。后来的18层更高秩推高匹配了基线质量前沿，直到因果消融将最终最佳方案修订为 `Attn16 @ lr=2e-4`（平均评估损失 \(0.3444 \pm 0.0012\)），而相同学习率下的仅FFN仍然是一个有效的效率权衡（\(0.3451 \pm 0.0011\)）。综合来看，这些搜索阶段表明，即使在更广泛的跨家族验证通过之前，层数、学习率和模块/秩分配会实质性影响LoRA质量。该流水线在Qwen2.5-3B上相对于完整LoRA基线实现了3.8倍的挂钟加速，同时匹配或略微超过基线质量，但这是一个*单模型*结果，因此作为支持性证据呈现，而非跨家族头条。我们将跨家族主张锚定在“Aletheia Matched”协议上（固定步数、配对基线），并将AutoResearch视为一个系统流水线能够在无需手动调参的情况下发现并优化强配方的证据。

## 4 实验设置

### 4.1 硬件

所有实验均在CINECA Leonardo HPC上使用NVIDIA A100-SXM4-64GB GPU进行。每个实验使用单个GPU节点（120GB系统内存，16个CPU），除了Mixtral 8×7B需要4×A100，使用QLoRA 4位量化。

### 4.2 模型

我们在来自8个架构家族、跨越4个权重梯度的14个成功模型上进行评估（表1）。

表1：在两个实验活动中评估的模型。Pythia-1.4B未包含在表1中，因为Campaign 2中所有种子在两个配方下均因fp16 NaN损失而失败。这些失败运行仍然是81行活动记录的一部分，并在第6节中讨论。

### 4.3 训练数据

我们使用Aletheia Bootstrap数据集，这是一个精心策划的Alpaca风格指令遵循数据集，专为高效适配器训练设计。Campaign 1和Campaign 2中的配对跨家族比较使用200个固定训练步；Campaign 2中的计算匹配变体将Aletheia扩展到250步（+25%），以消耗节省的挂钟预算。批次大小因模型和GPU内存而异，梯度累积为2。

### 4.4 评估基准

- •MMLU (Hendrycks et al., 2021 (https://arxiv.org/html/2604.15351#bib.bib5))：在两个活动中都使用200题子集进行广泛知识评估。
- •GSM8K (Cobbe et al., 2021 (https://arxiv.org/html/2604.15351#bib.bib2))：200题子集用于数学推理（仅Campaign 2）。
- •HumanEval (Chen et al., 2021 (https://arxiv.org/html/2604.15351#bib.bib1))：164个编程问题用于代码生成（仅Campaign 2）。
- •评估损失：留出验证交叉熵损失。

### 4.5 统计协议

每个模型使用3个种子（42, 123, 999）训练。我们报告每个模型的均值和标准差。总体显著性通过所有30个Campaign 1速度比较的配对t检验评估（t=9.518, p<0.001, Cohen's d=1.74）。所有表格报告来自3种子运行的均值±SD。

### 4.6 协议命名

为避免混淆，我们一致使用以下名称：**Aletheia Matched**指的是本文中的主要跨家族协议（固定步数、配对基线）。**计算匹配**指的是训练Aletheia额外步数以匹配标准LoRA挂钟时间的变体。**AutoResearch**指的是Qwen2.5-3B上的自动配方发现流水线（第3.5节）。

## 5 结果

### 5.1 训练加速

Campaign 1提供了跨10个模型的直接挂钟时间比较（表2）。

表2：Aletheia vs. 标准LoRA的训练加速（Campaign 1, 3种子均值±SD）。图1可视化了每个模型的加速比及其95%置信区间。

参考图注：图1：Aletheia vs. 标准LoRA在10个模型上的训练加速（3种子均值，带95% CI误差线）。所有模型均显示正加速，置信区间狭窄，确认可重复性。

关键发现：

- •100%胜率：所有30个实验（10个模型×3个种子）均显示正加速。
- •总体显著性：配对t检验得出t=9.518, p<0.001, Cohen's d=1.74（大效应）。
- •规模无关：加速比范围从15.8%（72B）到27.8%（14B），在更大规模下没有退化。
- •架构无关：GQA（Qwen, Llama）和MHA（Mistral, Phi）架构均受益（图3）。

### 5.2 基准质量：MMLU

表3显示了Campaign 1的MMLU遗忘分析。“额外遗忘”定义为Aletheia的MMLU变化量与标准LoRA的MMLU变化量之差。

表3：MMLU遗忘分析（Campaign 1, 3种子均值）。所有模型的遗忘≤2 pp。

MMLU退化可忽略：最大额外遗忘为1.8 pp（TinyLlama，其中Aletheia实际上从标准LoRA的遗忘中*恢复*）。≥14B的模型没有表现出实质性的负面遗忘：Qwen-14B在两个配方下均略有改善，而70B和72B持平。

### 5.3 多基准质量：GSM8K和HumanEval

Campaign 2评估了MMLU之外的下游任务质量（表4）。

表4：下游基准变化量（Aletheia减去标准LoRA, 3种子均值, Campaign 2）。接近零的值表示性能匹配。

在用于有界质量主张的核心模型（Qwen 3B/7B, Llama 8B, Mixtral）上，MMLU保持在1 pp以内。GSM8K和HumanEval的变化量存在混合，但在核心集中保持有界，而较弱的模型（StableLM, GPT-J）显示出更可变的下游行为。

参考图注：图2：Campaign 2基准变化量（标准LoRA vs. Aletheia），带95% CI误差线，涵盖6个模型和3个基准。结合每模型均值，这些区间支持在所评估集合上的有界变化解释，而非质量崩溃故事。

参考图注：图3：按架构家族划分的加速比（Campaign 1, 95% CI）。所有5个Campaign 1家族均显示来自梯度引导层选择的一致、统计显著的加速。

### 5.4 混合专家：Mixtral 8×7B

Aletheia在MoE架构上的首次评估确认了梯度引导的层选择超越了密集Transformer的泛化能力。对于Mixtral（总参数46B, QLoRA 4位），Aletheia适配了16/32层（启发式顶部50%选择），并实现：

- •MMLU遗忘：所有3个种子均为Δ=0.000
- •可靠完成：所有6次运行（3种子×2配方）成功完成
- •适配层减少50%，且下游质量匹配

### 5.5 计算匹配分析

在计算匹配设置中，Aletheia对相同的选定层训练额外的步数，以匹配标准LoRA的总挂钟时间（表5, 图4）。

表5：计算匹配的Aletheia vs. 标准LoRA（Campaign 2, 3种子均值）。计算匹配的Aletheia在所有核心模型上的MMLU匹配或优于标准LoRA。在Qwen-7B和Llama-8B上，额外步数带来了适度的质量提升；StableLM-3B上的较大退化与表4中的混合行为一致，表明该模型是核心测试集中的一个较弱候选者。

图4：计算匹配的Aletheia基准变化量（Campaign 2, 95% CI）。包括Qwen-3B在内的所有核心模型在MMLU上显示中性或正面的变化量；GSM8K和HumanEval的变化量总体较小，但存在个别例外。