配对时正确，拆分时错误：解耦与编辑多模态大语言模型中的模态特定神经元

# 配对正确，拆分错误：多模态大语言模型中模态特定神经元的解耦与编辑
来源：https://arxiv.org/html/2606.17057
Tingchao Fu1,◆\blacklozenge, Wenkai Wang2,◆\blacklozenge, Fanxiao Li1, Huadong Zhang1, Jinhong Zhang1, Dayang Li1, Yunyun Dong1, Renyang Liu3, Wei Zhou4,\*

1云南大学信息科学与工程学院 2云南大学软件学院 3新加坡国立大学 4云南大学工程学院
futingchao@stu\.ynu\.edu\.cn, ryliu@nus\.edu\.sg, zwei@ynu\.edu\.cn

###### 摘要

尽管知识编辑为多模态大语言模型（MLLMs）更新知识提供了一种高效机制，但我们发现现有范式仍面临一个重要但尚未充分探索的问题：*编辑解耦失败*。即当模型由多模态输入（文本-图像查询对）触发时，与实体相关的知识可以更新，但当配对输入被拆分为单模态时，它通常恢复到编辑前的过时事实。我们深入的实证分析表明，MLLMs中的实体知识并不是以统一表征存储的，而是分布在解耦的*模态特定*路径中。因此，偏向多模态查询的更新无法有效传播到单模态电路。为弥补这一差距，我们提出DECODE，该方法显式解耦并定位目标知识的模态特定神经元群。大量实验表明，DECODE在不同模态触发下始终实现有效的知识更新，从而缓解编辑解耦失败。

配对正确，拆分错误：多模态大语言模型中模态特定神经元的解耦与编辑

Tingchao Fu1,◆\blacklozenge, Wenkai Wang2,◆\blacklozenge, Fanxiao Li1, Huadong Zhang1, Jinhong Zhang1, Dayang Li1, Yunyun Dong1, Renyang Liu3, Wei Zhou4,\*1云南大学信息科学与工程学院 2云南大学软件学院 3新加坡国立大学 4云南大学工程学院
futingchao@stu\.ynu\.edu\.cn, ryliu@nus\.edu\.sg, zwei@ynu\.edu\.cn

††footnotetext:◆\blacklozenge：同等贡献。\*：通讯作者。††footnotetext:数据和代码可在 https://github.com/TingchaoFu/DECODE 获取。## 1 引言

多模态大语言模型（MLLMs）在跨模态理解、推理和知识密集型任务中展现出了卓越能力。然而，静态参数知识严重限制了其在需要最新信息的真实场景中的发展。鉴于重新训练或微调的高昂成本，知识编辑被认为是高效替代方案，旨在精确修改少量参数以更新内在知识，同时最大程度保留无关知识。

图1：编辑解耦失败的示意图。虽然先前的知识编辑方法在多模态输入下成功更新事实，但它们面临编辑解耦失败的问题：一旦输入解耦为单模态格式，MLLM就会恢复到提供错误或过时信息。

现有大多数针对MLLMs的知识编辑方法继承了以LLM为中心的编辑范式，通常针对特定*文本条件*查询进行优化。这些方法将最终答案是否被纠正作为主要编辑目标和评估标准，但缺乏强制多模态输入内容与待编辑目标实体对齐的专用约束。因此，最近少量文献开始分析MLLMs的特定特征，并尝试解析和编辑由多模态输入激发的激活模式。然而，他们通常隐式假设跨模态知识是共享和可迁移的：一旦在多模态输入下成功应用更新，它在单模态输入下也应成立。

尽管如此，我们的实证研究发现上述范式面临一个关键挑战，我们称之为*编辑解耦失败*。即使编辑后的MLLMs在文本-图像配对查询上表现正确，模型在使用纯文本输入时仍可能恢复到编辑前知识（如图1所示）。这表明在MLLMs中，相同事实属性可以通过不同输入组合激发，实体可以以不同方式被引用和指向（显式实体名称 vs. 视觉引用）。因此，多模态知识更新可能不会自动且一致地传播到模态特定路径及其融合机制。纠正一种输入形式下的输出并不能保证跨模态或跨不同实体引用形式的更新一致性。

具体而言，我们对MLLMs中神经元激活模式进行了深入分析，发现相同实体的知识表示具有显著的模态特异性。观察到两个相对解耦的神经元组：(1) 一组主要响应多模态特征。此时，文本-图像对输入到MLLM，实体可以同时存在于两者或仅存在于图像中；(2) 另一组更专门用于单模态特征，实体仅出现在文本输入中。这种解耦存储机制解释了现有编辑方法的一个关键局限性：它们通常在多模态输入设置下激活和优化，因此倾向于更新多模态响应神经元，而忽略了负责单模态推理和知识检索的另一组神经元。

受上述分析启发，我们提出DECODE：通过跨模态临界神经元划分来解耦实体知识用于编辑，这是一种新框架，旨在确保不同模态路径间知识的一致性。DECODE显式解耦模态特定神经元，并对不同的激活组进行针对性编辑，从而提高跨模态知识更新的一致性。具体地，对于给定实体：(1) DECODE从原始输入构建模态特定查询，并计算每个神经元在相应模态下的贡献分数。基于这些分数，它分组并定位模态特定神经元。(2) 我们进一步引入解耦双流编辑策略：它分别优化视觉感知神经元的偏移量，并通过纯文本查询更新文本感知神经元的偏移量。通过这种方式，DECODE有效缓解并解决了*编辑解耦失败*，使更新后的知识能够一致地跨模态传播。

跨多个MLLM架构的广泛评估表明，DECODE显著优于现有基线，在多模态和解耦单模态设置下均实现了卓越的可靠性、通用性和局部性。

## 2 预备知识

##### 多模态大语言模型。

一个MLLM M(⋅) 通常包含三个组件：一个LLM主干，作为核心推理模块；一个视觉编码器，从输入图像中提取表示；以及一个投影器或Q-Former，将视觉表示映射到语言嵌入空间以促进多模态对齐。响应可通过以下过程生成：

Response=M(I,P), (1)

其中视觉编码器首先从输入图像 I 中提取高层特征，投影器进一步将这些视觉特征映射到LLM的token嵌入空间。生成的视觉token随后与提示P的文本token拼接，使LLM主干能够进行联合多模态推理并生成最终响应。

##### 知识编辑。

知识编辑旨在更新模型中存储的特定事实关联，而无需从头重新训练。按照常见形式化，事实知识可以表示为三元组 (s, r, o)，其中 s 表示主体，r 表示关系，o 表示客体。给定一个编辑目标，将同一 (s, r) 下的 o 替换为 o*，目标是获得编辑后的模型 M~ 使得：

o* = M~(s, r). (2)

在多模态设置中，主体 s 同时基于图像 I 和文本指令 P 进行指向。

图2：InstructBLIP中关键神经元的逐层分布和模态重叠。分析考虑了不同粒度的高贡献神经元，包括按贡献分数排名前50、前100和前1000个神经元。

为了实现上述目标，我们修改*LLM主干*中前馈网络（FFN）层的神经元，这些神经元已被证明存储了大量事实知识。具体来说，对于输入token序列 X（包括投影后的视觉token和文本token），第 l 层的隐藏状态更新为：

h^l = h^{l-1} + a^l + m^l, (3)
m^l = W_out^l σ( W_in^l γ( h^{l-1} + a^l ) ), (4)

其中 a^l 和 m^l 分别表示注意力块和FFN块的输出；W_in^l 和 W_out^l 是两个FFN投影矩阵；σ(·) 是激活函数；γ(·) 表示层归一化。为简洁，我们定义 O^l = σ( W_in^l γ( h^{l-1} + a^l ) )。

**神经元贡献分数。** 先前工作表明，贡献分数较高的神经元在生成过程中更容易被激活。因此，我们首先将这些高贡献神经元识别为后续编辑的目标。形式化地，对于给定概念 token t，第 l 层第 i 个神经元 u_i 的贡献分数 s_{i,t}^l 定义为：

s_{i,t}^l = Q^l(i, t), (5)

其中 Q^l = (W_u W_out^l) ⊙ T( O_{-1}^l ) ∈ R^{d_m × v} 表示神经元激活在logit空间中的投影，d_m 表示FFN中间大小，v 表示词汇表大小。这里 W_u 表示解嵌入矩阵，W_out^l 是第 l 层的输出投影矩阵，O_{-1}^l 表示最后一个token位置的激活，⊙ 表示逐元素（Hadamard）乘积。s_{i,t}^l 的幅度越大，表明神经元 u_i 对目标概念预测的影响越大。

## 3 探索性研究

基于现有的多模态知识编辑基准 MMKE，我们进一步研究：对于成功编辑相同实体知识的模型，在多模态组合触发下，进行模态解耦后是否仍能保持一致且稳定的知识更新行为。

### 3.1 数据集构建

在原始MMKE中，目标知识通常由文本和图像的联合线索触发。为研究模态拆分下的知识编辑一致性，我们将每个样本适配为三种评估设置，分别选择性激活不同模态路径（详见附录A.2）：

##### 纯文本触发

：仅使用文本查询编辑后的知识，无任何视觉输入，以评估模型能否通过纯语言路径检索到更新后的事实。

##### 图像触发

：提供图像和文本，但文本中不含显式实体名称；而是通过指示性QA式表达（例如“图像中的物体/人物”）指代目标实体。此设置评估模型是否依赖视觉接地来识别实体并触发相应知识。

##### 标准多模态触发

：提供图像和显式包含实体信息的文本，作为具有冗余线索的标准设置，并用于比较组合输入下的编辑效果和稳定性。

### 3.2 模态特定神经元解耦与定位

基于构建的三种知识触发变体，我们按照第2节描述的程序，在每个评估设置下计算相应神经元的贡献分数，从而实现对模态特定神经元的解耦和定位。然后，我们按贡献分数对*LLM主干*中的所有神经元进行排序，选择得分最高的前 k 个神经元（k∈{50,100,1000}），得到以下三个解耦的神经元集合：

(1) 文本神经元集合 U_t：在纯文本触发设置下获得，捕捉仅由文本触发知识时的响应神经元。