大型语言模型多语言知识编辑的合并方法：一项实证探索

# 面向大型语言模型多语言知识编辑的合并方法：一项实证探索
来源：https://arxiv.org/html/2605.13919
Kunil Lee1,2, Ki-Young Shin2, Jong-Hyeok Lee1,3, Young-Joo Suh4  
1POSTECH计算机科学与工程系，  
2Designovel Co., Ltd.  
3LLSOLLU，  
4POSTECH人工智能研究生院  
[email protected]

###### 摘要

多语言知识编辑（MKE）仍然充满挑战，因为即便是“定位-编辑”方法在单语环境中表现良好，特定语言的编辑之间也会相互干扰。本文聚焦于三个问题：向量合并方法在MKE中的有效性；用于合并的任务奇异向量（TSVM）能在多大程度上减少多语言干扰；以及权重缩放因子和秩压缩比对性能的影响。我们在MzsRE基准测试中，使用两种主流骨干大型语言模型、两种基础知识编辑方法和12种语言，在大规模批量编辑设置下评估了六种合并变体。我们的结果表明，具有共享协方差的向量求和是整体上最可靠的策略，而不含共享协方差的简单求和则表现不佳。TSVM在某些设置下能提升性能，但其减轻多语言干扰的能力有限。我们还发现，性能对权重规模和秩比率都较为敏感，通常使用比默认值更大的缩放因子和相对较低的秩能获得更好的结果。这些发现阐明了当前向量合并方法在MKE中的实际优势与局限，并为未来的多语言知识编辑研究提供了指导。

## 1 引言

现代大型语言模型（LLMs）（OpenAI, 2023；Grattafiori, 2024；Yang, 2024；Google, 2025）拥有数十亿到数万亿的参数，这得益于Transformer架构（Vaswani等人，2017）的可扩展性。训练此类模型需要大量的GPU算力和能源，并且会产生相当多的温室气体排放。为了更新存储在LLM参数中的知识，已经开发了高效微调方法（Hu等人，2022），但它们仍然耗费时间（Mitchell等人，2022a）。幸运的是，知识编辑（KE）提供了一种框架，能够以更低成本修改目标知识，同时保留无关知识（Yao等人，2023）。特别是，“定位-编辑”类KE方法可以直接操作LLM参数，无需额外学习（Meng等人，2022；2023；Fang等人，2025）。然而，大多数先前工作都是在英语环境下进行的，并且在跨语言设置（例如，英语编辑→中文测试）中观察到了性能下降（Wang等人，2024）。此外，在多语言设置（例如，同时用多种语言编辑和测试）中已报告了语言间的干扰（Zhang等人，2025）。特别是，多语言知识编辑（MKE）在相同请求下的表现远逊于单语KE。最近，一种名为“用于合并的任务奇异向量”（TSVM）的向量合并方法被证明能有效减少任务干扰（Gargiulo等人，2025），这暗示了与我们问题的可能相似性。

本文探讨了将向量合并方法应用于多语言知识编辑（MKE）的可能性。有必要澄清跨语言KE与MKE之间的区别。在跨语言KE中，评估是在编辑时不可用的语言中进行的。相比之下，在MKE中，编辑和评估同时以多种语言进行。我们从以下研究问题（RQs）开始：

- **RQ1**：向量合并方法在MKE中表现如何？
- **RQ2**：TSVM能否有效减轻多语言干扰？
- **RQ3**：诸如权重规模和秩比率等因素如何影响性能？

尽管这一类比很有希望，但向量合并方法源于一个不同的问题：将分别微调的权重合并为单个权重更新。因此，我们在控制骨干类型、基础KE方法、共享协方差、权重规模和秩压缩比率的同时，对几种合并方法进行了系统研究。我们的贡献如下：

- 据我们所知，这是首次对“定位-编辑”MKE进行系统研究，实现了并行12种语言的大规模编辑（批量大小=700×12）。先前的工作（Zhang等人，2025；Wang等人，2023）使用相同的数据集（Wang等人，2023），但每次只考虑一种跨越12种语言的编辑请求（批量大小=12）。
- 我们使用两种骨干和两种基础KE方法评估了六种合并方法，并观察到具有共享协方差的向量求和取得了最强的整体性能。我们还表明，TSVM在有限条件下可以减少干扰，但总体上，所测试的合并方法均未能有效缩小MKE与单语KE之间的差距。
- 据我们所知，我们的工作是首次分析MKE中的权重缩放因子。令人惊讶的是，我们发现最优缩放因子可能超过默认值1.0。
- 我们还研究了秩压缩比率对TSVM性能的影响，并发现相对较低的秩通常能带来更好的结果。

## 2 相关工作

### 2.1 大型语言模型的知识编辑

知识编辑（KE）旨在更新大型语言模型中的事实关联，而无需重新训练整个模型。与常规微调方法（如LoRA）（Hu等人，2022）相比，KE力求修改目标知识，同时以较低成本保留无关行为。现有的KE方法涵盖多种范式，包括早期基于超网络的方法（如KnowledgeEditor）（De Cao等人，2021）、学习型编辑器（如MEND）（Mitchell等人，2022a）、半参数方法（如SERAC）（Mitchell等人，2022b），以及上下文编辑方法（如IKE）（Zheng等人，2023）。在这些工作线索中，我们的研究与直接参数编辑方法最为相关。

更具体地说，“定位-编辑”方法受到这样一种观点的启发：事实关联作为键值记忆存储在Transformer前馈层中（Geva等人，2021）。ROME（Meng等人，2022）首先证明，事实知识可以通过对特定层的闭式更新进行定位和修改。MEMIT（Meng等人，2023）将此思想扩展到批量编辑环境，PMET（Li等人，2024）提高了编辑精度，AlphaEdit（Fang等人，2025）通过零空间投影约束更新进一步改进了该方法。补充性工作也在神经元层面考察了知识定位：知识神经元（Dai等人，2022）识别出与事实回忆相关的神经元，并通过神经元干预展示了小规模事实编辑。尽管这些方法在单语环境中取得了强劲成果，但多语言知识编辑仍然相对未被充分探索。先前工作表明，当编辑和评估使用不同语言时，跨语言KE会退化（Wang等人，2024），最近的工作已将此挑战扩展到跨语言多跳设置（Khandelwal等人，2024）。与我们问题更直接相关的是，MzsRE（Wang等人，2023）提供了一个覆盖12种语言的多语言基准，而LU-LAFNs（Zhang等人，2025）通过识别语言无关的事实神经元减少了干扰。相比之下，我们聚焦于大规模多语言编辑，并探究向量合并能否减轻语言特定编辑之间的干扰。

### 2.2 任务向量与模型合并

模型合并研究如何将来自多个任务或微调模型的参数更新合并到单个模型中，而无需从头重新训练。最简单的策略是对参数差值进行求和或平均，但当底层更新未很好对齐时，这些方法常常因任务干扰而性能不佳。这个问题与我们的设置密切相关，其中语言特定的编辑向量可能既包含共享信息也包含冲突成分。

该领域的代表性工作包括：Model Soups，它表明当多个微调模型的权重位于一个共享盆地中时，对其求平均可以提高鲁棒性（Wortsman等人，2022）；任务算术，它证明了从微调模型中提取的任务向量可以通过简单的代数运算进行组合（Ilharco等人，2023）；以及TIES-Merging，它明确解决了跨任务向量的冗余更新和符号冲突问题（Yadav等人，2023）。我们的工作最直接地受到用于合并的任务奇异向量（TSVM）的启发（Gargiulo等人，2025），它引入了任务更新的低秩视角，并表明基于奇异向量的压缩可以减少模型合并期间的干扰。尽管TSVM最初是为合并特定任务的模型更新而非多语言知识编辑而提出的，但其根本动机与MKE高度相关。这一联系促使我们研究基于求和、平均和TSVM的规则来合并语言角度的编辑向量。同时，我们的设置与标准模型合并不同：我们不是合并独立微调的任务模型，而是合并由“定位-编辑”KE方法产生的编辑向量。因此，我们的工作将两个先前独立的研究线索——即LLM的直接知识编辑和感知干扰的向量合并——结合在一起。

## 3 预备知识

### 3.1 大型语言模型

在结构上，大型语言模型（LLM）是一种由堆叠的Transformer（Vaswani等人，2017）块构建的架构。在每个块中，两个不同的模块协同运作。首先，注意力层将上下文输入转换为短期记忆。这与一个位置前馈网络（FFN）配对，后者从海量向量存储中选择“活动槽”，实际上充当模型的长期记忆。最后，所有这些模块的输出以残差方式与前一层的激活相加。更具体地说，模型中第\(l\)层的输出激活\(\bm{h}^l\)可以定义为：

\[
\bm{h}^l = \bm{h}^{l-1} + \bm{a}^l + \bm{m}^l, \tag{1}
\]
\[
\bm{m}^l = \bm{W}_{\text{out}}^l \, \sigma(\bm{W}_{\text{in}}^l \, \gamma(\bm{h}^{l-1} + \bm{a}^l)), \tag{2}
\]

其中\(\bm{a}^l\)和\(\bm{m}^l\)分别表示注意力层和FFN层的输出；\(\bm{W}_{\text{in}}^l\)和\(\bm{W}_{\text{out}}^l\)表示FFN层的权重矩阵；\(\sigma\)表示非线性激活函数；\(\gamma\)表示层归一化。这里我们遵循（Meng等人，2022；Fang等人，2025）中定义的表达式。

### 3.2 线性关联记忆

线性关联记忆（LAM）接收一个键\(\bm{k}\)并回忆其对应的值\(\bm{v}\)如下：

\[
\bm{v} = \bm{W}\bm{k}, \quad \forall (\bm{k}, \bm{v}) \in \bm{S}, \tag{3}
\]

其中\(\bm{W}\)是LAM的权重矩阵，设计用于记忆有限集合\(\bm{S}\)内的\((\bm{k}, \bm{v})\)关联。在此框架下，公式2中的FFN层可以解释如下（Geva等人，2021）：

\[
\underbrace{\bm{m}^l}_{\begin{subarray}{c}\bm{v}\end{subarray}} = \bm{W}_{\text{out}}^l \, \underbrace{\sigma(\bm{W}_{\text{in}}^l \, \gamma(\bm{h}^{l-1} + \bm{a}^l))}_{\begin{subarray}{c}\bm{k}\end{subarray}}, \tag{4}
\]

其中下投影矩阵\(\bm{W}_{\text{out}}^l\)充当LAM权重矩阵。

### 3.3 定位-编辑方法

在知识编辑（KE）中，我们研究形式为（主语\(s\)、关系\(r\)、宾语\(o\)）的知识（如事实）。例如，在句子“美国的总统是乔·拜登”中，主语是“美国”，关系是“总统”，宾语是“乔·拜登”。一个编辑请求也是一个三元组\((s, r, o \rightarrow o')\)，其中\(o'\)是我们想要修改的新宾语；例如，（“美国”，“总统”，“乔·拜登”→“唐纳德·特朗普”）。

“定位-编辑”框架假设用于根据主语\(s\)及其关系\(r\)预测宾语\(o\)的关键信息存储在公式4定义的FFN的键值结构中。如同标准的LAM，FFN从某些输入（例如关于主语和关系类型的提示）中回忆事实，并对预测与正确宾语关联的下一个令牌做出重要贡献。

在此框架下，整个KE过程分为两步：1）识别负责存储知识的特定Transformer层，以及2）按从下到上的顺序依次对这些层应用KE算法。这些层的识别通过因果追踪技术进行（Meng等人，2022；2023）。一旦针对特定模型架构确定了这些层，通常无需重新计算；因此，后续研究通常采用这些标准化的层范围进行编辑任务。对于每个目标层，KE算法基于编辑请求计算矩阵扰动\(\Delta\)，用于公式4中定义的权重矩阵\(\bm{W}_{\text{out}}\)。