FuRA：基于频谱预条件的全秩参数高效微调

# FuRA: 基于谱预条件的全秩参数高效微调

来源: https://arxiv.org/html/2605.22869
Yequan Zhao¹  Ruijie Zhang¹  Liyan Tan¹  Niall Moran²  Tong Qin²  Zheng Zhang¹
¹加州大学圣塔芭芭拉分校  ²Amazon Lab126
{yequan_zhao, ruijiezhang, liyan_tan}@ucsb.edu  {nialmora, tqinmath}@amazon.com  [email protected]

###### 摘要

无论是全量微调 (Full FT) 还是 LoRA 等参数高效方法，在添加权重更新时都未考虑预训练所建立的谱结构。这使得来自小规模微调分布的有噪声梯度能够自由地扰动通过预训练学习到的鲁棒特征。我们首先将**谱预条件**识别为关键缺失要素：通过全秩 SVD 对每个权重 **W** 进行重参数化，并冻结一个奇异基，从而将每次更新限制在预训练的列空间内，由此产生一个预条件优化器，在相同参数量下优于无约束的全量微调。为使这一见解实用化，我们提出了 **FuRA**（全秩自适应），它通过块张量列分解 **W = L S R** 对 **W** 进行分解：大型核心 **L** 冻结在预训练的块式 SVD 基础上，仅训练小型核心 **R** 和每块奇异值 **S**。这一单一设计选择同时实现了全秩谱预条件、全秩更新能力，以及与 LoRA 相当的参数、步时和内存效率。FuRA 在 LLM 微调（LLaMA-3-8B 常识推理上 +1.37）、LLM 数学强化学习以及 VLM 视觉指令微调上均优于全量微调。4 位量化版本 QFuRA 也优于 QLoRA。代码地址：https://github.com/olokevin/FuRA-NIPS。

## 1 引言

参考图注

图 1: FuRA 以 LoRA 级别的运行时和最低的 GPU 内存，实现了比全量微调更高的精度。

大型语言模型 (Grattafiori 等人, 2024; Qwen Team, 2025) 在互联网规模语料上进行预训练时获得了丰富且可迁移的表征。在小型任务特定数据集上对这些模型进行微调，无论是通过监督微调 (SFT) 还是具有可验证奖励的强化学习 (RLVR) (Shao 等人, 2024; Yu 等人, 2025)，都可以释放强大的下游性能。全量微调 (Full FT) 会更新每个参数，在大多数基准测试上仍是性能上限，但会带来高昂的内存和计算成本。LoRA (Hu 等人, 2022) 等参数高效方法通过将更新 Δ**W** 约束到低秩子空间来规避这一成本，但与全量微调之间仍存在持续的精度差距 (Schulman and Thinking Machines Lab, 2025)，这促使我们继续研究更具表达力的替代方案，包括 (Liu 等人, 2024a; Meng 等人, 2024; Zhang 等人, 2023; Liu 等人, 2025)。

我们认为全量微调和 LoRA 共享一个更深层次的局限：**两者都不尊重预训练权重的谱结构。** 更新在方向上不受约束，可能会沿着与预训练建立的特征流形正交的方向推动模型。具体来说，无论更新 Δ**W** 是直接由梯度计算（全量微调）还是在低秩适配器 **BA** (LoRA) 中累积，它都被添加到 **W** 上，而不考虑其已学习的谱几何结构。由于微调数据在规模和分布上都小几个数量级，其梯度对真正的任务相关方向的估计噪声更大。允许这些有噪声的更新自由地扰动鲁棒的预训练特征会危及泛化能力，这是一种与灾难性遗忘密切相关的失效模式 (Kirkpatrick 等人, 2017)。这一观察提出了一种不同的设计原则：与其向 **W** 添加无约束的扰动，微调应该**重新对齐预训练特征**，使其受到模型已学习子空间的引导并限制在其中。如果预训练权重编码了一个用于有用表征的坐标系统，那么自适应应该在该坐标系统内重新定向，而不是摧毁并重建它。

通过 SVD 微调的控制实验（§3.2），我们进一步验证了将权重更新限制在预训练列空间内可以在 LLM 微调中产生优越的性能。然而，直接这样做可能会引入像全量微调一样大量的训练变量。这促使我们开发 FuRA（全秩自适应，图 2），这是一种参数高效方法，同时提供：1) 全秩更新能力，2) 通过全秩谱预条件更新实现高精度，以及 3) LoRA 级别的参数效率。

FuRA 在不牺牲推理效率的情况下，优于其他 PEFT 方法和全量微调：在 LLaMA-3-8B 常识 SFT 上，比 DoRA (Liu 等人, 2024a) 高 +2.87，比全量微调高 +1.37；在 Qwen-1.7B/7B 数学 RLVR 上优于全量微调；在 VLM 视觉指令微调上比全量微调高 +1.1，同时内存和壁钟步时间与 LoRA 相当。4 位量化版本 QFuRA 在 LLaMA-3-70B 数学微调上也比 QLoRA (Dettmers 等人, 2023) 高出 +2.51。

**贡献。** 我们的研究贡献总结如下。

- 我们研究了 LLM 微调的谱特性，并将谱预条件识别为关键缺失要素。我们表明，无论是全量微调还是 LoRA 都忽略了预训练谱结构，而受控的基于 SVD 的微调表明，与这一结构对齐的更新可以获得比全量微调更好的性能。
- 基于这些观察，我们提出了 FuRA，一种块张量列分解，使谱预条件成为一种实用的 PEFT 方法。单一架构选择同时实现了全秩谱预条件、全秩更新能力以及 LoRA 级别的参数和计算效率。
- 我们证明了 FuRA 的两个关键性质：尽管它只训练一小部分参数，但它可以实现全秩更新；其有效更新充当列空间投影结合奇异值预条件的作用。
- 我们证明 FuRA 在 SFT 和 RLVR 任务上均优于全量微调，且可训练参数少于 2%，无需特定任务的秩调整，为参数高效 LLM 自适应建立了新的最优水平。

参考图注

图 2: FuRA 将每个预训练线性层 **W** 替换为无损的块张量列分解 **W = L S R**。为更好展示，张量被展平为矩阵。每个切片由权重块 **W_k** 的全秩 SVD 初始化，并执行谱预条件更新。

## 2 背景与相关工作

**LLM 的 PEFT 方法。** LoRA (Hu 等人, 2022) 将权重更新约束为 Δ**W** = **BA**^⊤，秩为 r ≪ min(d_in, d_out)，每层仅训练 O(r(d_in + d_out)) 个参数。这种低秩约束主要是为了参数效率，而非反映任务特定的归纳偏置。后续工作沿几个方向改进了 LoRA：QLoRA (Dettmers 等人, 2023) 增加了权重量化，DoRA (Liu 等人, 2024a) 解耦了幅度和方向，AdaLoRA (Zhang 等人, 2023) 跨层自适应调整秩，VeRA (Kopiczko 等人, 2024) 共享固定的随机基，仅训练对角缩放。张量列分解 (Oseledets, 2011; Novikov 等人, 2015; Qiu 等人, 2024) 提供了另一条路径；诸如 LoRETTA (Yang 等人, 2024b) 和 LoRTA (Hu 等人, 2024) 等适配器训练所有张量核心，但保留 Δ**W** 的低秩性。尽管有这些进展，与全量微调的性能差距仍然存在。

**具有更高或全秩容量的 PEFT。** 一个自然的补救措施是提升秩上限。MoRA (Jiang 等人, 2025) 将适配器重塑为方阵以允许更高秩的更新；RandLoRA (Albert 等人, 2025) 使用可训练缩放因子的固定随机基；BOFT (Liu 等人, 2024b) 应用蝴蝶因子正交变换，以及 QuanTA (Chen 等人, 2024)、FourierFT (Gao 等人, 2024) 等。S²FT (Yang 等人, 2024a) 和 LIFT (Liu 等人, 2025) 训练结构化或非结构化稀疏的权重子集，实现全秩更新，但需要不太利于张量并行的 gather/scatter 操作。这些方法在 LoRA 预算下实现了名义上的全秩 Δ**W**，但尚未在标准基准上一致地缩小与全量微调的差距。我们认为，单有秩是不够的；更新运作的**子空间**同样重要。

**谱信息感知的适配器。** 一系列相关工作利用预训练权重的 SVD 来指导自适应。PiSSA (Meng 等人, 2024) 从顶部 r 个奇异方向初始化 LoRA，MiLoRA (Wang 等人, 2024) 使用底部 r 个方向，Spectral Adapter (Zhang and Pilanci, 2024) 在谱基中参数化更新，SVFT (Lingam 等人, 2024) 在冻结的 SVD 因子之间训练一个密集的中间矩阵。虽然这些方法融入了谱信息，但它们面临两个局限。首先，低秩约束迫使选择某个谱切片，而最优子空间是任务相关的：SFT 强调主方向，而 RLVR 偏向非主方向 (Zhu 等人, 2025)。其次，基于 SVD 的初始化只是一个软约束，允许更新在训练期间漂离预训练子空间 (Yin 等人, 2025)。

## 3 谱预条件改善了 LLM 微调

在本文中，**W** ∈ ℝ^{d_out × d_in} 表示一个预训练线性层，前向传播为 **y** = **Wx**。我们使用 **W′** 表示微调后的权重。

### 3.1 来自全量微调训练动态的观察

全量微调和现有的 PEFT 方法都在不考虑预训练过程中学习的谱结构的情况下更新权重，存在破坏预训练特征几何结构的风险。我们假设微调应该保留并利用这一结构。为了研究这一点，我们分析了在 Math-10K (Hu 等人, 2023) 上微调的 LLaMA-3-8B 的全量微调训练动态（图 3）。

参考图注

图 3: (a) 梯度存在于预训练权重的奇异基之外，但权重保持稳定。(b) 奇异值选择性移动，而奇异向量广泛旋转。(a) (b) 展示了第 15 层 q_proj 的结果，完整扫描见附录图 6 和 7。(c) SVD 微调在目标域和源域上都优于全量微调。

**梯度在谱上分散，而权重谱保持稳定。**

令 **W** = **U** **Σ** **V**^⊤ 表示预训练权重的 SVD。我们使用**列空间能量比**量化矩阵 **M** 位于预训练列空间 col(**U**) 中的程度：

ρ(**M**; **U**) = \\\|**U**^⊤ **M**\\\|_F^2 / \\\|**M**\\\|_F^2   (1)

ρ ∈ [0, 1]，ρ = 1 表示与 span(**U**) 完全对齐。高斯随机矩阵的期望能量比为 rank(**U**)/d_out（见附录 E.2）。跟踪全量微调期间梯度 **G_W** 的能量比（图 3 a），我们观察到 ρ(**G_W**, **U**) 保持在随机基线附近，表明梯度正在更新所有方向，并未特别与预训练方向对齐。相比之下，ρ(**W′**, **U**) ≈ 1 贯穿整个训练过程，表明尽管有扩散的梯度更新，全量微调隐式地保留了权重的谱结构。

**奇异值选择性移动；奇异向量广泛旋转。**

比较 **W′** 和 **W** 的 SVD（图 3 b），我们发现只有少数奇异值发生显著变化，而大多数保持接近其预训练值。相反，奇异向量表现出显著的旋转：**U′** 和 **U** 列之间的余弦相似度变化很大，对主方向或非主方向没有明显的倾向。上述发现表明，全量微调尽管无约束，但隐式地保留了预训练的列空间，将谱变化集中在少数奇异值上，同时允许广泛的方向旋转。这自然引出一个问题：**如果我们将这些模式明确地作为架构约束来强制执行，结果会怎样？**

### 3.2 SVD 微调实验的启示

我们研究了一个受控的 SVD 微调 (SVD FT) 来验证上述假设。我们通过 SVD 分解每个预训练权重：**W** = **U** **Σ** **V**^⊤，冻结左奇异基 **U**，仅微调 **Σ** 和 **V**^⊤。这种 SVD FT 与全量微调具有相同的参数数量和初始化，仅在参数化上不同。它引入了一种**谱预条件**，其中来自 **V**^⊤ 的有效更新为：

Δ**W**|_**V** = -η **U** **Σ**^2 **U**^⊤ **G_W**   (2)

其中 **G_W** = ∂L/∂**W**。