一罩定乾坤：编辑后隐藏事实的发现与探究

# 一罩统万法：编辑后的隐藏事实及其发现之道  
来源：https://arxiv.org/html/2605.28839  
Ali Holmov¹,²  Paul Youssef²  Nandi Schoots³  Christin Seifert²  
1 – 慕尼黑工业大学，2 – 马尔堡大学，3 – 牛津大学  
ali\.kholmovaia@tum\.de, nandischoots@gmail\.com  
\{paul\.youssef, christin\.seifert\}@uni\-marburg\.de  

###### 摘要  

知识编辑方法（如 ROME 和 MEMIT）通过修改 MLP 权重更新 Transformer 模型中的事实关联。虽然主要依据输出行为进行评估，但其内部机制仍未得到充分探索。我们研究了编辑是否依赖于一个通用机制，无论修改的是哪个事实。尽管权重变化具有事实特异性，但我们认为 ROME 和 MEMIT 都针对同一组对维持编辑至关重要的权重子集。为了隔离这一子集，我们在编辑后的权重上训练了一个紧凑的二进制掩码。该掩码在训练集上能逆转 80% 的编辑，在测试集上超过 70%，证实了多样化的编辑共享一个共同的功能结构。我们的分析表明，该掩码通过消除后层中的过度注意力来逆转编辑。此外，我们展示了在编辑过程中注入掩码会将编辑成功率从 98% 降至 38%，证明这一机制是编辑成功的必要条件。我们的发现——编辑是抑制而非覆盖知识——解释了为什么 ROME 和 MEMIT 无法将更改传播到相关事实。识别出的通用功能子空间为检测和防御不期望的编辑提供了依据¹。  

¹ 代码地址：github\.com/holmov1/one\-mask\-ke (https://github.com/holmov1/one-mask-ke)  

# 一罩统万法：编辑后的隐藏事实及其发现之道  
Ali Holmov¹,²  Paul Youssef²  Nandi Schoots³  Christin Seifert²  
1 – 慕尼黑工业大学，2 – 马尔堡大学，3 – 牛津大学  
ali\.kholmovaia@tum\.de, nandischoots@gmail\.com  
\{paul\.youssef, christin\.seifert\}@uni\-marburg\.de  

## 1 引言  

另见图 1 图 1: 编辑通过劫持注意力而非覆盖知识来成功。当定位并编辑的方法（ROME/MEMIT）将原始对象（镭）替换为编辑后的对象（氪）时，被修改的 MLP 权重在编辑层向残差流写入一个放大的信号。下游层对这一信号的注意力不成比例，从而抑制了原始事实的检索，而非将其擦除。  

知识编辑（KE）（Wang et al., 2024c）旨在更新 Transformer 模型中的特定事实，而无需昂贵的重新训练。在 KE 方法中，定位并编辑类方法如 ROME（Meng et al., 2022）和 MEMIT（Meng et al., 2023）因其高效性而受到关注。这些方法识别与目标事实相关的参数，并直接修改 MLP 权重以覆盖事实关联。这些方法的动机源于一个假设：MLP 层充当联想记忆（Geva et al., 2021），而定向更新可以覆盖特定事实。编辑的成功仅依据模型是否输出新事实来评估。因此，“知识被覆盖”这一主张仅仅建立在行为变化之上。然而，编辑如何影响模型的内部表征仍未被探索。此外，还存在一个概念上的困惑：虽然 Transformer 被认为通过冗余路径检索知识（McGrath et al., 2023; Hase et al., 2023），但 KE 方法通过修改单层或一小段相连的层就能成功更新事实。如果事实知识是分布式的，那么修改单层或一小段相连的层如何能够成功覆盖知识检索？我们假设 ROME 和 MEMIT 并非通过覆盖原始事实知识来成功，而是通过抑制它，如图 1 所示。我们提出，除了引入事实特定的变化外，这些方法依赖于一组对维持任何编辑都至关重要的公共权重子集。通过修改这些权重，ROME 和 MEMIT 注入放大的信号，迫使模型输出编辑后的事实，并抑制原始知识的传播而不将其擦除。这种放大信号导致后续层对编辑后的信号产生不成比例的注意。  

为了验证这一假设，我们通过在编辑后的权重矩阵上训练一个紧凑的二进制掩码，来隔离对维持编辑至关重要的权重子集。该掩码识别哪些权重变化是编辑持续必需的，从而允许我们通过修剪编辑后的部分权重来中和编辑。如果一个紧凑的掩码足以移除编辑，这就证实了只有一小部分权重子集对维持编辑至关重要。如果同一个掩码能移除不同事实上的多样化编辑，这就揭示了一个所有编辑共用的共享结构。相反，如果编辑引入了事实特定变化，那么任何单一掩码都无法在语义不同的编辑间泛化。我们发现，一个移除编辑后权重中很小一部分（通常低于 10%）的单一掩码，能逆转训练集上超过 80% 的编辑，并在未见过的编辑上超过 70%。这种泛化证实了多样化的编辑依赖于一个共同的功能结构。分析掩码所针对的目标，我们发现它消除了后层中放大的注意力信号，同时保留了仍然编码原始知识的 MLP 通路。这揭示了编辑是通过劫持注意力而非覆盖存储的事实来成功的。此外，在编辑过程之前注入掩码，会将成功率从 98% 降至 38%，证实了这一机制不仅足以逆转编辑，而且是编辑成功的必要条件。这些发现表明 ROME 和 MEMIT 存在根本局限性，因为它们无法真正覆盖知识，只能抑制其检索。这解释了它们已知的失败：无法将更改传播到相关事实（Hsueh et al., 2024），并为检测和防御不期望的编辑开辟了路径。  

## 2 相关工作  

#### 编辑方法。  
Transformer 语言模型（Petroni et al., 2019; Youssef et al., 2023）中的事实知识可能会过时。知识编辑方法（Wang et al., 2024c; Mazzia et al., 2024）旨在无需昂贵的预训练即可保持事实的最新性。KE 方法分为两类：参数修改型和参数保留型。参数修改型方法包括定位并编辑类方法如 ROME（Meng et al., 2022）和 MEMIT（Meng et al., 2023），它们定位并更新负责事实的参数；以及元学习方法如 MEND（Mitchell et al., 2022b）和 MALMEN（Tan et al., 2023），它们训练超网络来预测更新事实所需的参数变化。参数保留型方法添加记忆模块（Mitchell et al., 2022a; Hartvigsen et al., 2023; Wang et al., 2024a; Guo et al., 2025）或利用 LLM 强大的上下文能力（Cohen et al., 2024; Youssef et al., 2024）来编辑知识（Zheng et al., 2023; Youssef et al., 2026a）。在本工作中，我们重点关注定位并编辑类的 KE（如 ROME 和 MEMIT），因为它们使用广泛，并且为了更好地理解这些 KE 如何适配 LLM。  

#### 针对恶意编辑的对抗措施。  
针对编辑的对抗措施研究随着 KE 潜在恶意用途的出现而兴起。这一方向的工作包括：通过内部表征区分编辑过的事实和未编辑的事实（Youssef et al., 2025b; Li et al., 2024），逆转上下文和参数修改的编辑（Youssef et al., 2025a, 2026b），通过训练模型解码其编辑后的权重来追踪编辑（Youssef et al., 2026b），以及研究微调对编辑的影响（Cheng et al., 2025）。我们通过识别一组在不同事实间维持编辑的最小公共权重集，扩展了这一方向的工作。  

#### Transformer 中的知识表示。  
Transformer 展现出涌现的自我修复能力：当一层被消融时，下游层会通过增加其贡献来部分恢复原始输出（McGrath et al., 2023）。这种冗余意味着事实知识可以通过多条路径检索。关于知识关键子网络的工作（Bayazit et al., 2024）表明，跨越多个层的稀疏子网络负责维护特定的事实关联。这些发现为定位并编辑方法制造了一个悖论：如果知识分布在冗余路径中，那么修改单层或一小段连续层如何能成功覆盖事实检索？我们证明 ROME 和 MEMIT 通过诱导过度注意力来编辑事实——这是一种抑制冗余路径而不擦除它们的公共机制。  

#### 知识编辑中的注意力现象。  
最近的研究记录了编辑后模型中的注意力相关现象。Wang et al.（2025）识别出“注意力漂移”：对编辑实体的过度注意力分数导致特异性失败，即编辑破坏了无关知识。他们建议在编辑过程中通过正则化来有选择地约束漂移的注意力头。Xie et al.（2025）分析了“表面编辑”：编辑后的模型在对抗性提示下倾向于恢复到原始知识。他们识别出两个促成因素：前层最后一个主语位置的残差流，以及后层特定的注意力头。这两项工作都记录了注意力机制如何与编辑失败相关。但两者均未解决编辑首先如何成功的问题：即在正常检索过程中抑制原始知识的结构性机制。我们的工作识别了这一机制，并表明它在不同编辑间是共享的。  

## 3 方法论  

另见图 2 图 2: 共享掩码训练。一个单一的掩码 \( K \)，由可训练参数 \(\Theta\) 参数化，在 \(N\) 个编辑（冻结的编辑后权重矩阵 \(\{ \hat{W}_1, \dots, \hat{W}_N \}\)）上联合学习。前向传递（黑色）：对于每个训练样本 \(X_i\)，对应的编辑后矩阵 \(\hat{W}_i\) 被路由进来，并通过逐元素乘积 \(\hat{W}_i \odot K\) 与共享掩码组合。所有其他组件（注意力、剩余层）保持不变。反向传递（粉色）：来自组合损失 \(\mathcal{L}\)（式 4）的梯度，例如恢复项、稀疏项和 KL 项，仅流向 \(\Theta\)；编辑后的权重和基础模型保持冻结。这迫使 \(K\) 捕获跨编辑共享的结构，而不是记忆任意单个编辑。  

#### 背景。  
设 \(M\) 为原始模型。一个事实提示 \(x\) 由主体 \(s\) 和关系 \(r\) 组成（例如，“Marie Curie discovered”），对应的对象为 \(o\)（例如，“radium”）。一个知识编辑将原始对象 \(o\) 替换为新对象 \(o^*\)（例如，“krypton”），产生编辑后的模型 \(M_e\)。  

#### 假设。  
我们假设 KE 方法依赖于一个共同的机制，该机制对于注入和维持编辑至关重要。具体来说，除了引入事实特定的更新外，这些方法针对的是同一组对编辑持续至关重要的权重子集。  

#### 掩码训练。  
为了验证这一假设，我们通过在一组编辑后的权重 \(\hat{W}\) 上训练一个二进制掩码 \(K = (k_{a,b})\)，其中 \(k_{a,b} \in \{0,1\}\) 对于所有 \(a,b\)，来识别是否存在这样的共享子集，从而移除编辑。如果只有一小部分权重子集对维持编辑至关重要，那么有选择地移除这些权重应足以恢复原始模型的行为。掩码以逐元素方式应用于编辑后的权重矩阵 \(\hat{W}\)，产生一个修剪后的模型 \(M_p\)，其权重为 \(\hat{W} \odot K\)，其中 \(\odot\) 表示逐元素乘积。掩码值为 1 保留编辑后的权重；值为 0 则移除其贡献。如果掩码成功逆转了编辑，修剪后的模型 \(M_p\) 对原始对象 \(o\) 的概率应高于对编辑后对象 \(o^*\) 的概率。我们在跨越语义上不同事实的多样化编辑上训练一个单一掩码 \(K\)（参见图 2）。如果这个单一掩码能够泛化，不仅逆转训练编辑，还能逆转未见过的编辑，那么这将证明存在一个共享机制，即相同的权重位置在不同事实间负责编辑。相反，如果每个编辑引入了事实特定的变化，那么单一掩码将无法很好地泛化，即不同编辑会修改不同的权重位置，而在一组事实上训练的掩码将无法逆转新（未见）事实上的编辑。  

#### 损失函数。  
我们训练掩码以满足三个约束。首先，**恢复**：修剪后的模型 \(M_p\) 应偏好原始对象 \(o\) 而非编辑后对象 \(o^*\)。这意味着在将掩码应用于编辑后权重后，概率 \(P_{M_p}(o \mid x)\) 应超过 \(P_{M_p}(o^* \mid x)\)。如果掩码能够在多样化编辑上成功恢复概率，这表明原始知识从未被擦除。其次，**最小性**：掩码应移除尽可能少的权重。我们希望大多数掩码值为 1，只修剪负责维持编辑的那一小部分权重子集。这一约束确保我们识别出使编辑成为可能的具体权重，而非广泛地破坏该层。第三，**行为保持**：修剪后模型的行为应保持接近原始模型。这确保掩码不会引入任意更改（恰巧翻转预测或损害模型的一般语言能力）。我们将每个约束形式化为一个损失项。  

**恢复**损失衡量修剪后的模型是否给予原始对象高于编辑后对象的概率：
\[
\mathcal{L}_{\text{restoration}} = -[ \log P_{M_p}(o \mid x) - \log P_{M_p}(o^* \mid x) ]
\]
(1)  
当 \(P_{M_p}(o \mid x) > P_{M_p}(o^* \mid x)\) 时（即原始事实被恢复），该损失为负。我们要求 \(\mathcal{L}_{\text{restoration}} \leq -\delta\)，其中边界 \(\delta\) 鼓励有把握的恢复，而不是