Fora：在保持能力的微调中从权重空间到函数空间的保护

# 从权重空间到函数空间的保护：保持能力的微调
来源：https://arxiv.org/html/2606.31092
###### 摘要

全参数微调使大型语言模型适应新任务，但可能侵蚀其已具备的能力。现有补救措施通过*代理*进行保护——参数距离、重要性惩罚、输出匹配或权重的优势奇异方向——这些方法都没有回答关键问题：*被保留的能力依赖于哪些激活方向？*我们认为，能力由其诱导的激活子空间比由权重矩阵的奇异几何更能忠实地表征，基于此观点我们开发了**函数空间保护**，具体实现为Fora（*函数空间正交残差适应*）。从无标签校准输入中，我们逐层估计输入激活协方差的主方向Q，并构建右投影器PQ = I - QQ^T；与来自权重SVD的左投影器PU配对后，Fora的更新为ΔW = PU M PQ + U2 Dδ V2^T——这是一个高容量分支，结构上禁止读取能力的函数方向，再加上一个受控的窄谱通道用于有限的塑性。该构造通过M → (α/r)BA扩展到参数高效适应。在Qwen3-1.7B上的三个设置（学习COGS和GSM8K同时保留翻译，学习翻译同时保留数学）中，它在保留能力方面始终优于权重空间投影和标准正则化方法，仅在数学保留设置中带来很小的新任务权衡。通过控制消融实验隔离投影的*来源*，我们发现优势并非来自投影本身，而是来自投影到能力导出而非权重导出的方向。代码见 https://github.com/zrui239/FORA。

## 1 引言

全参数微调——在无约束梯度下更新预训练模型的所有参数(Vaswani et al., 2017)——仍然是使大型语言模型适应新任务最具表现力的方式(Han et al., 2024)。但这种表现力也是一把双刃剑：无约束梯度可以自由覆盖模型已具备能力的函数通路。一个期望在保留翻译质量的同时学习语义解析，或在保留算术能力的同时学习新语言对的模型，必须避免这种漂移，然而标准微调目标并未对此进行任何约束。

大量工作致力于缓解这种遗忘(McCloskey and Cohen, 1989; French, 1999; Parisi et al., 2019; Shi et al., 2025)。正则化方法通过重要性加权(Kirkpatrick et al., 2017)或普通ℓ₂ (Li et al., 2018)惩罚来锚定权重；蒸馏方法使输出分布接近原始模型(Li and Hoiem, 2018)；梯度投影方法引导更新远离已存储的任务子空间(Saha et al., 2021; Xiong and Xie, 2026)；权重分解方法将适应限制在预训练权重的选定奇异分量上(Meng et al., 2024; Liu et al., 2024a)。每种方法都通过一个*代理*来保护能力：参数重要性、输出行为、梯度历史或权重几何。没有一种直接编码能力在推理时使用的激活方向集。

#### 我们的主张。

一个被保留的能力由其每层诱导的激活子空间比由权重矩阵的优势奇异方向更能得到表征。权重的顶部右奇异向量V₁总结了该权重的*大*方向——这是模型所学一切的总和。它们不一定与*特定*能力功能活跃的方向对齐：翻译可能依赖于分布在许多中等奇异分量上的激活模式，或者与SVD基呈对角线方向。因此保护V₁约束了一个很大程度上与能力不对齐的子空间。

#### 方法。

我们通过从能力本身推导受保护子空间来解决这个问题。前向传递保留能力的无标签校准输入，我们收集每层输入激活，取其协方差的前k个特征向量Q，并形成一个*函数空间*右投影器PQ = I - QQ^T。全秩更新为

ΔW = 高容量、函数保护项下的 PU M PQ + 受控谱通道下的 U₂ Dδ V₂^T,

其中PU = I - U₁ U₁^T防止高容量分支写入W₀的主输出方向，PQ防止其读取能力的函数方向。两个通道发挥互补作用：在受保护能力对齐的输入上，稠密分支贡献为零，响应仅由窄谱通道决定——这是一个小的、校准后的调整而非完全冻结——而在所有其他输入上，稠密分支保留全部容量。相同的参数化通过将M替换为 (α/r) B A 扩展到低秩适应。

#### 发现。

我们在三个全秩设置（第4节）中在Qwen3-1.7B上实例化了该方法。在保留翻译的同时学习COGS，我们将困惑度保持在4.39——在4.35基线的0.04以内——同时达到98.6%的COGS精确匹配，而权重空间投影在相同准确率下将困惑度恶化至4.86，且并不比无保护微调更好。在保留翻译的同时学习GSM8K，我们精确匹配基线困惑度（4.35）。反转角色——在保留数学的同时学习翻译——我们将GSM8K保持在原始模型的0.9分以内，而全参数微调损失了2.3分，证实Q不是翻译特有的伪影。通过仅将PV替换为PQ的受控消融实验表明，收益来自被保护*什么*，而非仅仅进行投影。图1总结了所有三个设置在保留-适应平面上的情况。

图1：所有三个设置的保留-适应权衡（可视化表2、3和4）。每个面板绘制新任务指标（水平轴）与保留能力指标（垂直轴）；虚线标记保留能力目标，阴影区域为有利区域。(a) 翻译→COGS 和 (b) 翻译→GSM8K 绘制新任务EM与翻译PPL（越低越好，轴反向）；(c) 数学→翻译 绘制翻译PPL与保留的GSM8K EM（越高越好）。在所有三个中，FProj/Fora（大轮廓标记）在保留能力方面最强，同时在新任务上保持竞争力，而权重空间和正则化基线牺牲了保留能力。

#### 贡献。

(i) 我们将能力保留重新表述为*函数空间保护*：保护的对象是保留能力诱导的激活子空间，而非参数距离或W₀的奇异几何。(ii) 我们提出Fora（*函数空间正交残差适应*），一种结构约束的全秩更新

ΔW = P_U M P_Q + U₂ Dδ V₂^T,

其中P_Q阻止从能力敏感方向读取，P_U阻止写入主导输出方向，谱通道提供有界塑性。(iii) 我们通过三个操作符级性质刻画该参数化，并通过受控的P_V与P_Q消融实验验证机制，表明关键在于受保护子空间的*来源*。第3节开发该方法，第4节评估全秩设置，后续章节介绍消融实验和低秩扩展。

## 2 相关工作

#### 正则化与蒸馏。

经典的持续学习方法限制参数或输出可以移动多远。基于重要性的正则化器如EWC(Kirkpatrick et al., 2017)、SI(Zenke et al., 2017)和MAS(Aljundi et al., 2018)估计哪些参数应保持稳定；L2-SP(Li et al., 2018)惩罚与预训练权重的ℓ₂距离；LwF(Li and Hoiem, 2018)在新任务输入上蒸馏冻结模型的输出分布。这三种方法都依赖于*间接*信号——参数重要性、参数接近性、输出一致性——都没有约束更新可以作用于哪些输入方向，使能力的函数通路暴露在外。在全秩微调下，它们几乎与无保护一样严重地损害翻译（第4.2节）。

#### 子空间与梯度投影。

第二类方法约束梯度。梯度投影记忆(Saha et al., 2021)将新梯度投影到存储的逐任务子空间的正交补上；基于记忆的方法如GEM(Lopez-Paz and Ranzato, 2017)和A-GEM(Chaudhry et al., 2019)使用情节回放缓冲区约束梯度，当保留能力数据可存储时提供强基线。O-LoRA(Wang et al., 2023)在正交的LoRA子空间中学习顺序任务以最小化干扰，OPLoRA(Xiong and Xie, 2026)在PEFT设置中提供类似的投影。这些方法在*优化*层面起作用，修改训练期间的梯度；我们在*参数化*层面起作用，约束ΔW的结构，使得保护不依赖于优化器状态或训练轨迹。

#### 权重空间约束微调。

第三类方法通过SVD分解W₀并将适应限制在选定的谱分量上：PiSSA(Meng et al., 2024)从主奇异分量初始化后微调残差，MiLoRA(Wang et al., 2025)则从次要奇异分量初始化，AdaLoRA(Zhang et al., 2023)通过在训练期间修剪奇异值自适应分配层间秩，DoRA(Liu et al., 2024a)将权重拆分为幅度和方向。正交微调方法如BOFT(Liu et al., 2024b)参数化更新变换以保持正交性，但并未从特定保留能力的激活中推导受保护子空间。内存高效的PEFT变体如QLoRA(Dettmers et al., 2023)关注适应计算成本，而我们则解决结构投影下的能力保留问题。所有方法都假设权重的*奇异方向*定义了保护对象——但顶部r个右奇异向量V₁标记的是权重大的地方，而非能力活跃的地方。第4.5节直接展示了这种错配：保护V₁失败，而能力导出的Q成功。

#### 激活感知适应。

近期适配器使用激活统计：CorDA(Yang et al., 2024)通过输入激活协方差引导低秩初始化，EVA(Pascher et al., 2025)通过激活方差指导放置位置。在预测函数层面，函数空间正则化(Rudner et al., 2023)约束模型可能产生的输出，而我们通过逐层权重更新上的硬投影器P_Q约束*内部*激活子空间。机制研究进一步表明，特定行为如拒绝可以由低维激活方向介导(Arditi et al., 2024)，支持激活子空间是有意义的保护对象这一前提。我们共享激活编码能力的观点，但有两个不同点：我们将激活子空间用作更新操作符上的*硬右投影器*P_Q而非软初始化，并且我们在全秩微调中确立原则后再专门化到低秩。据我们所知，这是首次在全秩微调下对权重空间（P_V）与函数空间（P_Q）投影进行受控比较，识别出投影*来源*是决定因素。

## 3 方法

图2：从权重空间投影到函数空间保护。(a) 无约束全参数微调可以覆盖任何方向，提供最大塑性但无保护。(b) 权重空间投影屏蔽W₀的主奇异方向；这些标记权重大的地方，不一定与能力的功能足迹一致。(c) Fora将权重导出的掩码替换为能力导出的投影器P_Q，因此高容量分支避免保留能力使用的激活方向，而窄谱通道U₂DδV₂^T提供受控校准。

我们将该方法作为一系列参数化来开发，每个参数化解决前一个的限制（图2）。终点是一个全秩更新，保护能力。