超越二元编辑：基于对抗性子空间对齐的鲁棒多模态知识编辑

# 基于对抗性子空间对齐的鲁棒多模态知识编辑
来源: https://arxiv.org/html/2605.23780
Haoyuan Wang¹, Xiaohao Liu², Jiajie Su¹, Jianmao Xiao³, Chaochao Chen¹  
¹浙江大学 ²新加坡国立大学 ³江西师范大学  
\{haoyuanwang, sujiajie, zjuccc\}@zju\.edu\.cn, xiaohao\.liu@u\.nus\.edu

###### 摘要

多模态大语言模型（MLLMs）需要高效的机制来更新知识，同时不降低现有能力。虽然内在多模态知识编辑具有强可靠性和局部性，但它通常表现出有限的通用性，无法将编辑传播到语义等价的视觉和语言变体上。这个问题源于缺乏显式的语义监督、刚性编辑范围以及在高层多模态空间中偏向单一样本的锚定。我们通过明确针对泛化目标来解决鲁棒内在多模态知识编辑问题。我们将鲁棒性形式化为将语义等价的多模态输入分组为知识单元，并定义通用性为每个单元内的一致预测。为了暴露脆弱的语义区域，我们引入了潜在对抗鲁棒化（LAR），它在联合潜在空间中生成对抗性但语义连贯的变体。我们进一步提出了秩约束子空间学习（RCSL），通过基于奇异值的目标函数，在编辑层强制对对抗表示进行低秩对齐。广泛的分析实验证明了ASAM的有效性。

## 1 引言

多模态大语言模型（MLLMs）[22, 1]凭借其优越的跨模态理解能力，在众多应用中迅速推动了生成式AI的发展。知识编辑（KE）[42]作为一种高效手段，用于更新预训练模型中的知识和纠正错误，尤其在MLLMs中，编辑跨模态结构可以实现精确、局部的模型更新。现有的MLLMs编辑方法分为两类 [35]：外部知识检索 [33, 49] 和内在知识编辑 [32, 20]。前者从外部存储器中检索编辑后的信息，后者则直接修改内部参数。

虽然外部知识检索从辅助存储器中检索上下文信息，但内在知识编辑通过直接更新模型参数来内化新知识，消除了对运行时检索的依赖，从而产生更持久、更鲁棒的编辑。现有的内在编辑方法 [35, 15] 在编辑事实的**高可靠性** 和范围外知识的**强局部性** 上表现良好，但它们通常表现出**有限的通用性**，即无法将更新传播到语义相似的输入，特别是在原始编辑的不同视觉或语言改写情况下。因此，本文致力于通过保持可靠性和局部性，同时显著提高通用性，来解决内在多模态编辑中的性能差距，从而实现跨多样化跨模态上下文的鲁棒且语义自适应的编辑。然而，由于以下挑战，解决这一差距并非易事。

**CH1. 高层多模态空间中缺乏用于语义泛化的显式且可扩展的监督。** 多模态编辑中的泛化无法通过简单的监督目标可靠地实现。尽管改写后的输入在语言层面或高层交叉注意力模式上可能看起来语义等价，但它们对应的联合视觉-语言表示通常位于高度弯曲流形中的遥远区域。现有方法 [41, 11] 对模型参数进行围绕有限编辑样本的局部变形，缺乏泛化约束，这仅诱导出狭窄的语义影响区域，使得编辑后的知识在面对由视觉构成、背景上下文或属性措辞变化引起的分布变化时变得脆弱。

**CH2. 二元编辑范围假设阻碍了在多模态分布偏移下的自适应边界学习。** 大多数内在编辑方法 [32, 35] 将样本成对划分为**范围内** 和**范围外** 集合，隐式地假设了一个静态边界。这种二元公式过度简化了多模态输入中语义相关性本质上的连续性。因此，MLLMs将编辑范围视为硬决策，而非可学习、自适应的边界。此外，内在参数更新往往会放大模型对捷径相关性的依赖。由于编辑修改的是根深蒂固的相关路径而非解耦的语义因素，当改写的图像破坏这些相关性时，模型难以正确外推。这导致边界判断错误，加剧了泛化失败。

**CH3. 在有偏编辑样本下不可靠的语义锚定。** 对于单一的编辑意图，多模态样本在语义空间中往往呈现有偏或不完整的分布，使其成为泛化的不可靠参考。以往方法 [15] 将参数更新锚定到单个样本，导致编辑后的知识吸收了偶然的视觉模式或语言伪影。这种以样本为中心的锚定鼓励了对虚假属性的过拟合，并限制了泛化边界。需要一种机制来超越不完美的样本实现，并捕捉不同扰动背后共享的语义空间。否则，编辑将被限制在观测样本的有偏支持集内，从而限制了应对改写输入时的鲁棒性。

为了解决这些挑战，我们提出了一个基于**对抗性子空间对齐**（ASAM）的鲁棒多模态知识编辑框架。ASAM的核心见解是超越以样本为中心的参数更新，而是将编辑后的知识内化为一个一致的语义概念，该概念在语义等价的多模态变体中保持稳定。ASAM由三个紧密耦合的组件组成，它们在表示层面运作。为了解决缺乏可扩展语义监督的问题（CH1），我们引入了潜在对抗鲁棒化（LAR），这是一种模型内部、梯度驱动的机制，在联合视觉-语言潜在空间中生成多样化且语义连贯的变体。通过扩展编辑概念周围的语义邻域，LAR增加了逻辑等价编辑路径的多样性，而无需依赖外部监督。为了避免不可靠的样本锚定（CH3），我们提出了秩约束子空间学习（RCSL），它在对抗变体之间强制进行低秩对齐，而不是将任何单个样本视为绝对正例。这促使模型隐式地发现一个共享语义子空间，该子空间在其最大泛化边界下捕捉编辑知识的共同语义核心。为了缓解刚性的二元编辑范围（CH2），我们进一步引入了非对称梯度流，该梯度流在多变体层面提供弱自监督信号，从而能够沿着有意义的语义方向进行自适应边界塑造，而不是强制进行实例特定的编辑。这些组件共同将编辑后的知识嵌入到一个低秩语义结构中，该结构能够在分布偏移下泛化，同时不牺牲可靠性或局部性。

我们的贡献可概括为：(1) 我们提出了一个基于对抗性子空间对齐的鲁棒多模态知识编辑框架。(2) 我们引入了潜在对抗鲁棒化，以生成多样且连贯的潜在变体，为编辑提供可扩展的语义监督。(3) 我们开发了具有非对称梯度流的秩约束子空间学习，它强制进行低秩语义对齐和自适应边界塑造，以克服刚性编辑范围和不可靠的样本锚定。(4) 在基准数据集上的大量实验证明了ASAM相比现有方法的优越性。

## 2 相关工作

**知识编辑。** 知识编辑（KE）修改基础模型中的事实知识，同时保留无关的语义。方法分为**外部知识检索** [2, 5, 49, 14, 33, 16, 41]，依赖于检索和运行时增强，以及**内在编辑** [47, 46, 21, 7, 32, 17, 43, 39, 30, 31, 9, 25, 29, 18, 38, 11, 8, 34]，通过超网络或“定位-编辑”策略修改模型参数，实现持久、局部的更新。多模态扩展（UniKE [35], BalancEdit [15], ODEdit [37]）解决了跨模态纠缠问题，但泛化能力仍然有限。

**多模态语言模型。** 多模态大语言模型（MLLMs）[50, 24, 26, 6] 统一了视觉-语言表示，实现感知、推理和生成。高效的知识编辑对于纠正过时或有偏知识至关重要 [23, 44]，然而纠缠的表示导致编辑过拟合于实例特定的输入，限制了泛化 [3, 19, 45, 10]。

相关工作的详细讨论见附录C。

## 3 问题形式化

**多模态知识编辑。** 设 \(f_{\theta}: \mathcal{X}_v \times \mathcal{X}_t \rightarrow \mathcal{Y}\) 为一个由 \(\theta\) 参数化的预训练多模态大语言模型，其中 \(\mathcal{X}_v\) 和 \(\mathcal{X}_t\) 分别表示视觉和文本输入空间。多模态知识编辑的目标是修改 \(f_{\theta}\)，以纳入新的事实知识，同时保持模型在无关输入上的行为不变。形式上，我们对知识单元定义如下：

###### 定义 3.1 (知识单元)。

一个**知识单元** \(\mathcal{K}_i\) 被定义为一组语义等价的输入对 \(\mathcal{K}_i = \{ (x_v^{(j)}, x_t^{(j)}) \}_{j=1}^{m_i}\)，所有这些输入对都对应一个唯一的地面真实目标 \(y_i^* \in \mathcal{Y}\)。

因此，知识库定义为 \(\mathcal{K} = \{ \mathcal{K}_1, \mathcal{K}_2, \dots, \mathcal{K}_n \}\)，其中每个知识单元 \(\mathcal{K}_i\) 对应一个不同的概念，由多个语义等价的多模态输入 \((x_v, x_t)\) 组成，映射到同一个目标输出 \(y_i^*\)。

**鲁棒知识编辑。** 传统知识编辑的目标是用编辑请求 \((x_v, x_t, y^*) \in \mathcal{K}_i\) 获得更新后的参数 \(\theta'\)，使得：

\[
f_{\theta'}(x_v, x_t) = y^*. \tag{1}
\]

然而，鲁棒知识编辑要求更新超越单个输入样本进行泛化。

###### 定义 3.2 (鲁棒知识编辑)。

对 \(\mathcal{K}_i\) 的一次编辑是**鲁棒的**，如果更新后的模型 \(f_{\theta'}\) 满足：

\[
f_{\theta'}(x_v, x_t) = y_i^*, \quad \forall (x_v, x_t) \in \mathcal{K}_i, \tag{2}
\]

同时保持对 \(\mathcal{K} \setminus \mathcal{K}_i\) 的原始预测不变。

我们将数据对 \((x_v, x_t) \in \mathcal{K}_i\) 定义为知识单元 \(\mathcal{K}_i\) 的**范围内知识**，而数据对 \((x_v, x_t) \notin \mathcal{K}_i\) 定义为知识单元 \(\mathcal{K}_i\) 的**范围外知识**。根据经验评估方法 [48]，我们使用三个主要指标来评估编辑性能：

\[
\left\{
\begin{aligned}
&\text{Rel.} = \sum_{(x_v, x_t, y^*)} \mathbb{I}\{ \arg\max_y f_{\theta'}(y \mid x_v, x_t) = y^* \} \\
&\text{Loc.} = \mathbb{E}_{(x_v, x_t) \sim \mathcal{K} \setminus \mathcal{K}_i} \left[ \mathbb{I}\{ f_{\theta'}(y \mid x_v, x_t) = f_{\theta}(y \mid x_v, x_t) \} \right] \\
&\text{Gen.} = \mathbb{E}_{(x_v, x_t, y^*) \sim \mathcal{K}_i} \left[ \mathbb{I}\{ f_{\theta'}(x_v, x_t) = y^* \} \right]
\end{aligned}
\right. \tag{3}
\]

Rel. 评估特定查询上的编辑成功率，Loc. 验证无关知识的保持性，通用性 Gen. 衡量对等价实例的泛化能力。

参见图注  
图 1: ASAM 的整体框架，包含两个关键模块。❶ LAR。给定多模态输入，LAR 沿着 LLM 引导的梯度扰动输入嵌入，以生成语义一致的改写。❷ RCSL。使用这些改写，RCSL 应用基于 SVD 的子空间学习来对齐编辑层输出，强制各个变体之间的语义一致性。

## 4 方法

在本节中，我们介绍潜在对抗鲁棒化（LAR）以生成语义变体（第 4.1 节）。提出秩约束子空间学习（RCSL）以在这些变体之间强制表示级别的一致性（第 4.2 节）。然后我们阐明具有非对称优化目标