揭示多模态知识编辑中的实体身份混淆问题

# 揭示多模态知识编辑中的实体身份混淆

来源: https://arxiv.org/html/2605.06096

Shu Wu¹, Xiaotian Ye²∗, Xinyu Mou¹,³∗, Dongsheng Liu¹,⁴∗, Xiaohan Wang⁵, Mengqi Zhang⁶

¹ 模式识别国家重点实验室 (NLPR) 多模态人工智能系统国家重点实验室 (MAIS) 中国科学院自动化研究所
² 北京邮电大学
³ 中国科学院大学人工智能学院
⁴ 中国科学院大学前沿交叉科学学院
⁵ 华中科技大学
⁶ 山东大学

[email protected], [email protected] {mouxinyu2025, liudongsheng2025}@ia.ac.cn [email protected], [email protected]

###### 摘要

多模态知识编辑（MKE）旨在部署后修正大型视觉-语言模型（LVLMs）的内部知识，然而编辑后模型的行为模式尚未得到充分探索。在本文中，我们识别出编辑模型中存在的一种系统性失效模式，称为实体身份混淆（Entity Identity Confusion, EIC）：编辑后的模型表现出一种荒谬的行为，即关于原始实体身份的纯文本查询意外地返回了新实体的信息。为了严格研究 EIC，我们构建了 EC-Bench，这是一个诊断基准，直接探测编辑前后图像-实体绑定的变化。我们的分析表明，EIC 源于现有方法未能区分模型中的图像-实体（I-E）绑定与实体-实体（E-E）关系知识，导致模型将 E-E 关联作为捷径进行过度拟合：图像仍被视为原始实体，新实体的名称仅作为虚假的身份标签。我们进一步探讨了潜在的缓解策略，表明将编辑限制在模型的 I-E 处理阶段可促使编辑更忠实地作用于 I-E 绑定，从而显著减少 EIC。基于这些发现，我们讨论了忠实 MKE 的原则性期望，并为未来的研究提供了方法指导。

## 1 引言

如今，知识编辑（KE）(Zhang et al., 2024b) 已确立为大型语言模型（LLM）(Zhao et al., 2025) 领域的关键研究方向。在实际部署中，维护 LLM 通常需要对编码的知识进行修订，以解决过时的事实或满足安全、政策和隐私要求。知识编辑侧重于对 LLM 内部知识的针对性修改，从而启用更实用且可审计的部署后维护。随着大型视觉-语言模型（LVLMs）(Liu et al., 2023; Zhu et al., 2023; Bai et al., 2023) 在实际应用中的日益普及，这些需求自然地从纯文本系统扩展到了多模态知识编辑（MKE）(Cheng et al., 2023a)。

与基于文本的知识编辑 (Men et al., 2022; Zhang et al., 2026)（通常针对现实世界实体之间的关系，例如修改“特朗普毕业于宾夕法尼亚大学”）不同，主流的多模态 KE 设置侧重于将特定图像中描绘的内容绑定到不同的实体。如图 1 (a) 所示，对于一张预编辑模型错误地识别为拜登的特朗普图片，后 MKE 模型正确地将图片内容识别为真实实体特朗普。尽管有这种自然的动机，但多模态 KE 仍远不如其纯文本对应物成熟，文献中缺乏对编辑后模型行为的系统分析。

在这项工作中，我们在分析编辑后模型行为时发现了一种此前未被发现的失效模式，我们称之为实体身份混淆（EIC）：在将绑定到图像 $i$ 的实体从 $e$ 修改为 $e^*$ 后，当被问及关于 $e$ 的身份相关问题时，模型竟然回应以 $e^*$ 的名称。为了说明这个问题，考虑上述纠正特朗普图像-实体关联的案例：如图 1 (b) 所示，当提示“这是谁？”等身份查询时，编辑后的模型确实可能输出“Trump”，在现有基准指标下其表现可能看起来正常。然而，更深入的探测揭示了一种即使非专家也会觉得荒谬的行为：当模型被问及仅关于拜登（编辑前与该图像关联的实体）的纯文本问题时，例如“拜登的全名是什么？”，模型意外地回答“Trump”。这显然是高度异常的。我们进行了一项初步研究，并在各种编辑方法中一致观察到这种模式，表明这是一个系统性现象，而非孤立错误。

**图 1：多模态知识编辑中实体身份混淆（EIC）概览**

我们进一步对 EIC 的特征进行了深入分析。鉴于 EIC 难以使用传统基准中的标准指标检测，我们构建了一个更全面的基准 EC-Bench。除了专门设计用于检查 EIC 的任务外，EC-Bench 还引入了两个泛化任务：旧绑定持久性（OBP）和新绑定泛化（NBG），以评估编辑后图像与原始/新实体之间的绑定如何演变。这使我们能够分析 EIC 的更多特征并探索其潜在机制。理想情况下，MKE 应将图像 $i$ 从原始实体 $e$ 中解耦，并与实体 $e^*$ 建立新绑定。然而，我们的实验分析表明，现有的 MKE 方法大多未能影响图像-实体绑定；相反，编辑后的模型仍将 $i$ 视为原始实体 $e$（例如，拜登），但使用 $e^*$ 标签“Trump”来描述 $e$ 的身份，这就解释了我们观察到的现象。因此，在更复杂的任务上，例如询问“图中的人毕业于哪所大学？”，模型仍然提供拜登的母校。这表明，即使内部机制根本存在缺陷，模型在简单任务上仍可能表现出看似理想的行为，从而“欺骗”许多现有基准。

什么导致了 EIC？我们认为 EIC 源于现有 MKE 方法未能明确考虑多模态设置中不同知识类型的复杂性。如图 1 (c) 所示，当前 MKE 方法的目标通常只要求模型在给定样本上产生正确的字符串 (Huang et al., 2024)，这是一种表面行为约束：它们通过参数更新和类似机制实现这一目标，而没有对其内部实现方式施加任何约束。然而，LVLM 中的知识涉及两个不同的类别 (Zhang et al., 2025a)：图像-实体（I-E）绑定 $(i, e)$ 和实体-实体（E-E）关系 $(e_1, r, e_2)$，它们可能在模型架构的不同层级依赖于不同的检索机制。这种差异意味着模型在实践中可能通过错误的底层机制满足编辑目标。例如，模型可能在拜登和特朗普之间隐式强制形成一种虚假关联——这在简单问题上会产生正确答案，但在底层根本上是错误的，从而在复杂测试中暴露出如 EIC 之类的问题。

因此，我们主张一种原则性的编辑策略应解耦这两种类型的知识，确保编辑干预精确针对 I-E 绑定表示，同时保持 E-E 关系知识的结构完整性。

为了为未来研究提供方法指导，我们进一步探索并提出了一种潜在的 EIC 缓解策略：我们提出，由于 I-E 召回和 E-E 召回在模型推理期间发生在不同位置，将编辑目标限制在负责 I-E 绑定的区域可能有助于将编辑效果导向正确的知识类型，从而缓解 EIC 并实现更准确的知识编辑。我们通过改变编辑位置，在多个基线方法上验证了这一假设，并确认这构成了未来研究的一个有前景且稳健的方向。此外，我们讨论了正确多模态知识编辑的未来方向，从而为未来的 MKE 研究提供原则性指导。

本文的核心贡献总结如下：

- 我们识别并定义了实体身份混淆（EIC）作为多模态知识编辑中一个被忽视的系统性失效模式。
- 我们构建了诊断基准 EC-Bench，并引入了更具挑战性的泛化任务，以彻底评估编辑后模型的内部知识结构，促进对该问题的未来深入分析。
- 我们基于该基准对 MKE 进行了机制诊断和分析，并提出了一种初步的缓解策略，从而为未来的多模态编辑研究提供了方法指导。

## 2 预备知识

本节提供与我们的工作相关的关键概念定义和必要背景。

### 2.1 大型视觉-语言模型的架构

典型的大型视觉-语言模型（LVLM）(Liu et al., 2023; Zhu et al., 2023; Li et al., 2023) 由三个组件组成：视觉编码器、投影器和 LLM 主干。给定输入图像 $i$，视觉编码器（例如，Vision Transformer）提取一系列视觉令牌嵌入 $v=[v_1,...,v_n]$。投影器（例如，线性层或 MLP）将这些令牌映射到 LLM 的嵌入空间，产生 $h=\text{Proj}(v)$。LLM 主干随后将 $h$ 与文本令牌嵌入的拼接作为输入，并执行自回归生成以产生输出。

### 2.2 问题公式化

LVLM 中的知识可以分解为两种不同类型 (Zhang et al., 2025a)。**图像-实体（I-E）绑定知识** $(i, e)$ 捕捉视觉证据与实体身份之间的对应关系，回答“这张图片指的是谁或什么？”；**实体-实体（E-E）关系知识** $(e_1, r, e_2)$ 捕捉通过语义关系（如出生地、职业或隶属关系）与实体相连的事实和属性。这两种类型可能由模型的不同组件和层处理，这一前提促使我们在后续章节中进行分析。

多模态知识编辑（MKE）旨在修改 I-E 绑定：给定一个最初绑定到实体 $e$ 的图像 $i$，目标是将其重新绑定到目标实体 $e^*$。形式上，令 $f(\cdot;\theta)$ 表示参数为 $\theta$ 的预训练 LVLM。给定图像 $i$ 和文本查询 $x$，模型输出答案 $y=f(i,x;\theta)$。我们给定一个编辑集 $\mathcal{D}_{\text{edit}}=\{(i,x,y,y')\}$，其中 $x$ 是关于图像 $i$ 中所描绘实体身份的查询，$y$ 是编辑前模型一致的答案，$y'$ 是编辑后期望的目标答案。

$$
(1)
$$

一种编辑方法 $\mathcal{M}$ 产生更新后的参数 $\theta'=\mathcal{M}(\theta,\mathcal{D}_{\text{edit}})$。标准目标是

$$
f(i,x;\theta')=y',
$$

$$
(2)
$$

同时保持无关的模型行为。

## 3 观察实体身份混淆：初步实验

为了经验验证实体身份混淆（EIC），我们进行了一项初步实验。在本节中，我们首先详细介绍实验设置，包括我们采用的评估任务。随后，基于实验结果，我们阐述 EIC 在下游任务中的表现，并验证其在不同基础模型和 MKE 方法中的普遍性。

### 3.1 初步实验设置

我们的初步实验基于一个代表性的 MKE 基准 VLKEB (Huang et al., 2024)，并扩展其管道，增加针对 EIC 的额外评估任务，以观察各种编辑方法下模型的编辑后行为。基线的描述见附录 D.1。

**编辑任务。** MKE 的编辑目标是修改模型内的图像-实体绑定，即 $(i,e) \rightarrow (i,e')$。在实践中，它提供一组包含图像以及查询所描绘实体身份的问题的训练样本；例如，[拜登的图片] 图中人的全名是什么？；并要求执行反事实编辑，使模型回答 Donald Trump。

**评估任务。** 为了评估 EIC，我们在不含图像的纯文本模态中查询原始实体 $e$ 的身份，并检查模型错误地将新实体标签 $e^*$ 预测为答案的情况比例。例如，我们问“拜登的全名是什么？”表现出 EIC 的模型会异常地回答 Donald Trump。我们还提供了有效性指标，即经典的编辑成功率指标。

### 3.2 EIC 的特征

我们从初步实验中观察到 EIC 的三个反复出现的特征。

**图 2：使用各种 MKE 方法编辑的 LLaVA 性能**

**特征 1：高有效性与高混淆共存。** 在所有编辑方法中，模型在原始编辑查询上取得高编辑成功率，同时表现出严重的身份混淆。这意味着单提示有效性不足以作为 LVLMs 编辑质量的唯一指标。

**特征 2：跨编辑范式的普遍性。** EIC 不限于任何单一类别的编辑方法。它表现在参数修改方法（例如，FT, MEND）、外部内存基方法（例如，SERAC）和提示基策略（例如，IKE）中。尽管严重程度因方法而异，但这种模式在不同编辑范式中的反复出现表明，EIC 是当前 MKE 公式固有的结构性问题。

**特征 3：文本端知识污染。** MKE 针对模型的 I-E 绑定，这应该是仅在提供图像输入时才会显现的图像条件行为；然而，我们观察到模型在纯文本查询下也表现出明显异常的行为模式，表明编辑污染了模型的文本知识表示，而没有精确地作用于 I-E 关系。

**结论。** 基于这些观察，我们提供了 EIC 现象的形式定义。给定一个将图像 $i$ 从实体 $e$ 重新绑定到目标实体 $e^*$ 的编辑实例，我们将 EIC 定义为编辑后模型 $f(\cdot;\theta')$ 在通过...