分解大语言模型的基本能力：在多任务指令微调中缓解跨任务干扰

# 分解大语言模型的基本能力：在多任务指令微调中缓解跨任务干扰

来源：https://arxiv.org/html/2605.05676

###### 摘要

近年来，大语言模型（LLMs）的卓越性能在很大程度上得益于多任务指令微调。遗憾的是，这种训练范式面临一个关键问题——跨任务干扰，即不同任务在共享参数上的梯度相互冲突。此前的一些方法通过隔离任务特定参数来缓解该问题，例如任务特定神经元选择和混合专家模型。本文通过实验揭示，现有解决方案中跨任务干扰依然存在，因为许多参数仍被不同任务共享。据此，我们提出了一种新方法，即多任务指令微调的基本能力分解（Badit）。具体而言，我们实验发现某些参数始终被协同激活，且这些协同激活的参数自然地组织成基础组。这启发我们类比：LLMs编码了若干正交的基本能力，任何任务都可以表示为这些能力的线性组合。因此，我们提出Badit，将LLM参数分解为正交的高奇异值LoRA专家，这些专家代表基本能力，并通过秩1分量的球面聚类在训练过程中动态保持其正交性。我们在SuperNI基准上使用6个LLM进行了大量实验，结果表明Badit能够优于现有最先进方法，并降低跨任务干扰的程度。

机器学习，ICML

## 1 引言

近年来，我们目睹了大语言模型（LLMs）在多种下游任务中的快速发展，例如推理（Yang等人，2025a）和问答（Hu等人，2025）。这一显著能力主要归功于在多样化任务的大规模数据上进行的有监督微调，即多任务指令微调（Wang等人，2023b；Dou等人，2024；Shi等人，2026）。尽管LLMs取得了成功，但其多任务指令微调面临一个关键挑战——跨任务干扰，即同时训练多个任务不可避免地导致来自不同任务数据的梯度在共享的LLM参数上产生冲突，从而降低每个任务的性能（McCloskey和Cohen，1989；Luo等人，2023）。为应对这一问题，多任务指令微调中有一个基本假设：不同任务一致地激活LLM参数的不同子集（Leng和Xiong，2025；Tang等人，2025）。相应地，此前的一些方法识别并隔离了任务特定参数（Tang等人，2021；Zhao等人，2024b）。例如，Leng和Xiong（2025）通过梯度归因定位LLM中的任务特定神经元，并仅训练这些参数。另一类研究应用混合专家模型（MoE）来分离与不同任务相关的参数（Wang等人，2023a；Dou等人，2024），逐步引入多个专家以显式隔离任务特定参数，同时在不同专家的参数之间施加正交性约束（Wang等人，2023a）。

在本文中，我们通过实验揭示，这些现有解决方案仍然存在跨任务干扰，因为不同任务仍共享大量参数。因此，我们提出一种新方法以进一步缓解该问题。具体而言，我们使用标准方法在包含15个不同任务的基准数据集上进行了实证评估。图1和图2的实验结果揭示了不同任务的任务特定参数之间存在显著重叠。我们分析了15个任务（Wang等人，2022b），并分别展示了它们如何在各种LLM中激活不同的神经元、参数和MoE专家。实验结果表明，绝大多数神经元、参数和MoE专家同时被多个任务激活。因此，先前的多任务指令微调方法未能完全隔离任务特定参数，留下了大量共享参数，在优化过程中这些参数在不同任务上仍表现出梯度冲突。

参照图注

图1：不同任务间共享的任务特定神经元和参数。

参照图注

图2：基于MoE的LLM中被不同任务激活的专家。

为了进一步缓解跨任务干扰，我们提出了一种新方法，即多任务指令微调的基本能力分解（Badit）。具体而言，Badit受图1中实证观察的启发：某些神经元和参数在不同任务中始终被协同激活，并且这些协同激活的单元可以自然地归纳为若干基础组。这促使我们将LLM参数分解为一组正交的基础组，称之为基本能力，并将每种能力表述为一个MoE专家，从而通过隔离这些能力（而非任务）来缓解跨任务干扰。为实现这一想法，Badit包含两个关键策略。首先，我们通过奇异值分解（Meng等人，2024）将LLM参数分解为多个大奇异值的低秩适应（LoRA）专家（Hu等人，2022）与一个包含低奇异值部分的残差项的线性组合。由于分解后的LoRA专家天然正交，它们可作为初始的基本能力。其次，在多任务指令微调过程中，为确保每个LoRA专家始终代表一种不同的基本能力，我们引入了一种基于球面聚类的动态分组策略。该策略在强制不同LoRA专家的优化梯度正交的同时，保持每个LoRA内部秩1分量之间的角度相似。

为评估Badit的性能，我们使用SuperNI（Wang等人，2022b）在6个不同的LLM上进行了实验，该数据集包含15个多样化的任务。总体而言，Badit在Rouge评分上平均比最先进的多任务指令微调方法GainLoRA（Liang等人，2025）高出2.68分，并定量证明了减少了跨任务干扰。

我们的源代码已发布在仓库 https://github.com/wangbing1416/BADIT。我们的贡献可总结为以下三点：

- • 我们的实验揭示，不同任务激活共享的参数子集，且某些共享参数在任务间始终被协同激活。我们将这些协同激活的子集类比为LLM的基本能力。
- • 我们提出Badit，它将基本能力从LLM参数中分解为MoE专家，并将任何任务表示为这些能力的组合。
- • 大量实验证明Badit能够缓解跨任务干扰。

## 2 初步实验

在本节中，我们展示初步实验，表明在LLMs的多任务指令微调过程中，其激活的参数可以被组织为多个基础组（我们称之为基本能力）。

### 2.1 实验设置

遵循Zhao等人（2024b）和Liang等人（2025）的做法，我们使用SuperNI（Wang等人，2022b）中的15个不同任务进行实证研究，该数据集是一个多任务指令微调数据集。我们的研究分析了Llama3-3B（AI@Meta，2024）和Qwen3-4B（Yang等人，2025a）中神经元和参数的激活模式，并评估了它们的任务共享激活情况。此外，我们将一个轻量级MoE架构（称为LoRAMoE，Dou等人，2024）集成到这些LLM中，以研究当每个任务独立训练时，不同任务如何激活这些专家。我们将LoRA专家数量固定为8个，并选择路由权重最高的前4个LoRA专家。

如何识别不同任务激活的神经元和参数？为了研究不同任务数据集如何影响LLM参数，我们首先分析这些任务共享的激活神经元。形式上，给定任务t的数据集Dt，一个激活神经元被定义为其在前向传播中输出非零或显著偏离零的隐藏状态。例如，考虑在前馈层中计算的任务数据集上的平均激活：h = (1/|Dt|) ∑_{x∈Dt} σ(Wx + b)，如果|hi| > ε（ε为一个小正阈值），则神经元hi被视为激活。此外，遵循Song等人（2024），我们还通过梯度检查激活的LLM参数，并评估任务共享参数。具体来说，给定Dt，我们针对LLM全参数θ中的特定参数矩阵Wi计算Fisher信息矩阵（Wu等人，2024）。然后，我们使用该矩阵的对角元素（每个元素代表对应参数得分函数的期望方差）作为参数激活度量，如下所示：

F_ii = E_{x~Dt} [(∂/∂Wi log p_θ(y|x))^2], Wi ∈ θ,

其中我们通过有监督微调损失实现log p_θ(y|x)。先前工作表明，LLM主要将知识存储在其前馈网络中（Geva等人，2021；Dai等人，2022），尤其是在其门控层中（Song等人，2024）。因此，我们后续的实验检查门控层，其他组件（如自注意力层）的结果以及更多LLM的额外分析见附录H.1。

### 2.2 任务特定激活仍然共享

两个LLM的激活神经元和参数可视化如图1所示。左侧两个子图展示神经元激活模式，其中每行对应一个特定任务激活的神经元集合。右侧两个子图展示参数级激活，每列代表一个特定任务，并指示该任务在参数矩阵对应行中激活的参数数量。此外，图2展示了不同任务如何激活8个MoE专家，基于LLM最后一层门控模块产生的路由权重。在上述所有图中，激活组件以黄色标记。图1的实验结果表明，对于每个任务，大多数激活的神经元或参数都与其他任务的共享。有些神经元和参数甚至同时被所有15个任务激活。值得注意的是，在Qwen3-4B中，激活的神经元和参数在低ID处主要在15个任务间共享。图2的结果也显示，即使使用相对先进的MoE架构，仍有大量专家在不同任务间被联合激活。这些共享专家仍因不同任务产生的梯度冲突而受到干扰。

### 2.3 LLMs可以分解为基本能力

基于图1所示的结果，我们可以得出若干初步观察。首先，无论是神经元还是LLM参数，激活始终集中在一个小子集中，而绝大多数保持不活跃。其次，我们进一步观察到，某些神经元和参数在多个任务之间始终被协同激活。这些协同激活的单元倾向于形成少量重复的基础激活模式。例如，在Llama3-3B和Qwen3-4B中，存在恰好被15个任务同时激活的特定神经元和参数。这些观察表明，这种协同激活的神经元和参数可能承担共享的功能角色——类似于模型拥有一套基本的、可重用的能力，每个复杂任务通过组合这些底层基元来实现。这一见解启发了我们的核心方法：分解LLM中天然编码的不同正交基本能力。通过隔离这些基本单元，我们旨在解耦任务特定干扰。

## 3 提出的Badit方法

在本节中，我们首先在3.1节介绍技术预备知识。然后在3.2节概述我们提出的Badit方法。Badit的两个核心步骤分别在3.3节和3.4节详细描述。

### 3.1 技术预备知识

多任务指令微调。给定T个自然语言任务 {Dt}_{t=1}^{T}，⋂_{t=1}^{T} Dt = ∅，其中 Dt = {(x_i^t, y_i^t)}_{i=1}^{|Dt|} 表示特定任务的指令样本。多任务指令微调的目标是调整预训练LLM F(·; θ^0) 跨任务，同时缓解跨任务干扰。形式上，对于任务Dt，我们优化LLM参数为：

θ^t = arg min_{θ} (1/|Dt|) ∑_{(x_i^t, y_i^t)∈Dt} [L(F(x_i^t; θ), y_i^t)],  (1)

其中 L(·,·) 是一个有监督微调损失。

低秩适应（Low-rank adaptation, LoRA）...