Moir: 让模型自我引导故事，实现稳健的跨领域知识编辑

# Moir：让模型自主引导其故事，实现稳健的跨域知识编辑

来源：https://arxiv.org/html/2607.20433

Jea Kwon，Jiwon Kim，Dong-Kyum Kim，Meeyoung Cha  
马克斯·普朗克安全与隐私研究所 (MPI-SP)

###### 摘要

尽管语言模型在训练状态后保持冻结，但世界却在不断演变。知识编辑已成为完整重新训练的关键替代方案，但其部署受到核心能力侵蚀的瓶颈：数学和编程推理能力崩溃，而百科全书式记忆则保持不变。我们将这种不对称退化追溯到一个分布不匹配问题。基于协方差的编辑器仅保留其参考语料库所跨越的子空间，但未能捕捉到由SFT和DPO等后训练所塑造的操作性分布。静态的外部语料库，包括维基百科甚至最初的预训练混合数据，都无法恢复这一偏移的流形。我们提出 **Moir**，它通过从模型自身的解码分布中采样，直接估计保留协方差 \(C\)。用单个随机词汇标记播种生成，绕过那些否则会主导采样输出的指令遵循模板，从而暴露模型已内化的更广泛子空间。Moir 不需要外部数据，并且可以作为任何基于协方差的编辑器的即插即用组件，鉴于大多数现代LLM的预训练和后训练语料库不对公众开放，这是一个实际优势。在OLMo-2、Llama-3.1和Qwen-3（7–8B）上，在MEMIT和AlphaEdit以及批量和顺序模式下，Moir 在最易受影响的领域持续扩展保留能力，最引人注目的是在Qwen3-8B上经过20,000次AlphaEdit批量编辑后，其GSM8K准确率保留了79.9%，而维基百科基线仅为10.9%。这些结果表明，将保留分布与模型的操作性分布对齐是无破坏性编辑的关键因素，而模型本身可能是已部署系统最易获取的该分布来源。

## 1 引言

大型语言模型 (LLM) 在本质上动态的世界中充当着静态的知识存储库。当全球事件、科学突破和社会政治格局不断演变时，LLM 的内部状态在其训练结束时保持冻结。由于通过完整重新训练来整合新信息在计算和环境上代价高昂，**模型编辑**已成为一个关键范式，用于对特定事实进行精确、局部的更新 (Geva 等，2021 (https://arxiv.org/html/2607.20433#bib.bib57)；Mitchell 等，2022a (https://arxiv.org/html/2607.20433#bib.bib38))。模型编辑的核心挑战在于维持微妙的平衡：成功整合新信息而不损害模型来之不易的结构完整性。该领域的过往研究主要集中在更新的机制上，从**如何编辑** (Meng 等，2022a (https://arxiv.org/html/2607.20433#bib.bib1), 2023 (https://arxiv.org/html/2607.20433#bib.bib40)) 转向**如何保留**现有参数 (Fang 等，2025 (https://arxiv.org/html/2607.20433#bib.bib3))。这项工作引入了一个新视角。为了实现真正的无破坏性编辑，我们表明社区必须解决一个同样重要但尚未被充分审视的问题：**究竟应该保留什么？** 当前的结构保持算法 (Fang 等，2025 (https://arxiv.org/html/2607.20433#bib.bib3)；Gu 等，2024b (https://arxiv.org/html/2607.20433#bib.bib42)) 通过使用任意的代理语料库（如维基百科）来定义保留的知识空间，隐含地回答了这个问题。在这项工作中，我们证明了这种根深蒂固的惯例引入了一个关键的错位，导致在编辑过程中，落在该代理的狭窄分布之外的复杂能力（例如，数学推理和代码生成）严重且不成比例地崩溃。这些影响超越了编辑本身。随着已部署模型越来越依赖编辑来进行事实修补、内容移除和持续更新，任何无意中削弱核心能力的干预措施都可能成为部署为可靠基础设施的重大障碍。我们提议通过以下贡献来重新定义保留空间的构建方式：

- • **诊断代理陷阱**。我们通过实验证明，任意的代理语料库导致了先前编辑方法中观察到的跨域崩溃。
- • **自生成流形**。我们引入了 **Moir**，这是一个无数据框架，直接从模型自身的生成中近似该分布（见图1 (https://arxiv.org/html/2607.20433#S1.F1)）。
- • **不可访问性作为动机**。我们证明了在已部署的LLM中，操作性分布通常是不可访问的。因此，自生成不仅仅是一种偏好，而是维持相关分布的唯一可行方法。

我们引入了一种方法，利用模型自身的解码分布来访问其内化的训练数据和后训练偏移，而无需依赖外部语料库。通过实验，我们确定了单个随机标记播种是最佳配置，能在缓解模式崩溃和保持前缀先验保真度之间取得平衡。此外，我们表明将保留空间与此自生成流形对齐减少了外部代理典型的跨域退化。通过应用 Moir，我们在主要LLM上实现了前所未有的稳定性，并维持了复杂的推理流形。Moir 是任何基于协方差的编辑器的即插即用替代品，无需对现有的框架（如 MEMIT 或 AlphaEdit (Meng 等，2023 (https://arxiv.org/html/2607.20433#bib.bib40)；Fang 等，2025 (https://arxiv.org/html/2607.20433#bib.bib3)））进行架构更改。通过直接从实时模型中采样，它捕捉到了静态语料库无法代表的、由后训练（如监督微调 (SFT) 和直接偏好优化 (DPO)）引起的细微激活偏移。这种对齐使得在 OLMo-2、Llama-3.1 和 Qwen-3 系列上进行大规模、非破坏性编辑成为可能。由此产生的稳定性是显著的：测试模型在 20,000 次编辑后，在 GSM8K 上保持了 79.9% 的准确率，而维基百科基线则崩溃至 10.9%。这种稳定性是以每个模型约 2 小时的一次性生成成本实现的。其影响超越了作为研究问题的知识编辑。一旦编辑不再以模型的推理或编码能力为代价，完整重新训练就不再是使模型保持事实最新的唯一途径。相反，一个已部署的模型可以持续演进，在几分钟而不是几个月内吸收修正，并在其运行期间与世界保持同步。原本在训练结束时冻结的静态产物，变得更像是可维护的基础设施。

参见图注

图 1: **Moir 的自生成流水线**。模型从种子标记自回归生成样本，从中估计 \(C\)。使用句子起始标记（顶部）会导致生成偏向指令风格，而随机标记（底部）则跨领域（例如，通用文本、代码和数学）多样化生成，更好地近似模型内化的分布。

## 2 相关工作

#### 编辑范式的演进。

知识编辑方法可以根据是否保留模型的原始参数进行分组。参数保留方法 (Hu 等，2022 (https://arxiv.org/html/2607.20433#bib.bib35)；Mitchell 等，2022b (https://arxiv.org/html/2607.20433#bib.bib36)；Hartvigsen 等，2023 (https://arxiv.org/html/2607.20433#bib.bib37)) 通过外部适配器或记忆模块路由编辑。虽然从设计上是安全的，但它们会引入推理开销，难以处理复杂推理，并且无法真正移除信息。直接参数修改方法 (Mitchell 等，2022a (https://arxiv.org/html/2607.20433#bib.bib38)；Meng 等，2022b (https://arxiv.org/html/2607.20433#bib.bib39), 2023 (https://arxiv.org/html/2607.20433#bib.bib40)) 则直接覆盖权重以内化新事实。其代价是干扰：语言模型中的表示是纠缠的，因此局部更新会泄露到相邻激活中，并且在顺序编辑下，会累积成灾难性遗忘和模型崩溃。最近的结构保持编辑器 (Fang 等，2025 (https://arxiv.org/html/2607.20433#bib.bib3)；Ma 等，2024 (https://arxiv.org/html/2607.20433#bib.bib41)；Gu 等，2024b (https://arxiv.org/html/2607.20433#bib.bib42)) 通过将更新投影到被认为与现有知识正交的子空间上来解决这个问题。

#### 域外能力侵蚀。

最近的压力测试暴露了编辑评估中的一个盲点：标准的位置性指标是从与编辑相同的分布中抽取保留的三元组，因此无法检测落在其外的能力的崩溃。Gu 等人 (2024b (https://arxiv.org/html/2607.20433#bib.bib42)) 表明，单次编辑传递修改 LLaMA-1 不到百分之一的参数，就会导致域外准确率降至接近零，Li 等人 (2024b (https://arxiv.org/html/2607.20433#bib.bib43)) 报告称，一万次顺序编辑会将模型推入一种“静音效应”，同时使广泛的能力崩溃。这种损害在专业领域最为严重：顺序 MEMIT 编辑使数学问题解决能力降至零 (Gu 等，2024a (https://arxiv.org/html/2607.20433#bib.bib23)；Lin 等，2024 (https://arxiv.org/html/2607.20433#bib.bib61))，同样的方法使代码专用模型上的语法有效性降低多达 86 个百分点 (Chhetri 等，2025 (https://arxiv.org/html/2607.20433#bib.bib45))。同时，Liu 等人 (2026 (https://arxiv.org/html/2607.20433#bib.bib46)) 的工作将其形式化为“协方差陷阱”，将失败归因于投影度量本身。

## 3 重新思考保留空间

### 3.1 背景：协方差约束的知识编辑

为了确立保留空间的数学作用，我们首先形式化顺序模型编辑的目标。给定一个编码目标值的残差矩阵 \(R\)，算法计算一个参数更新 \(\Delta W\) 以记忆与键 \(K_{\text{new}}\) 相关的新事实。这个更新必须同时保留先前编辑过的事实 (\(K_{\text{past}}\)) 和从代理分布 \(\mathcal{D}\) 中采样的基础预训练知识 (\(K_0\))。基础方法和最先进的方法都依赖 \(K_0\) 来构建其保留空间。

#### 协方差约束的公式。

现代编辑方法依赖非中心协方差矩阵 \(C = K_0K_0^{\top}\) 来定义保留空间，尽管实现方式略有不同。MEMIT (Meng 等，2023 (https://arxiv.org/html/2607.20433#bib.bib40)) 将 \(C\) 作为软正则化惩罚项，计算与 \((...+C)^{-1}\) 成正比的更新。相反，AlphaEdit (Fang 等，2025 (https://arxiv.org/html/2607.20433#bib.bib3)) 通过将更新严格投影到 \(C\) 的零空间来强制执行硬约束。对 \(C\) 应用 SVD 得到一个正交投影矩阵 \(P\)，其结构上保证 \(PK_0 = \mathbf{0}\)。尽管存在这些算法差异，两种方法都从根本上受到相同的几何承诺的瓶颈限制：用于采样 \(K_0\) 和估计 \(C\) 的分布 \(\mathcal{D}\)。请参考附录 C (https://arxiv.org/html/2607.20433#A3) 以获取这些参数更新的完整数学公式。

#### 从“如何”保留到“保留什么”

最近的结构保持模型编辑方法 (Fang 等，2025 (https://arxiv.org/html/2607.20433#bib.bib3)；Ma 等，2024 (https://arxiv.org/html/2607.20433#bib.bib41)；Gu 等，2024b (https://arxiv.org/html/2607.20433#bib.bib42)) 通过细化**如何**约束参数位移，取得了显著进展。然而，如图2 (https://arxiv.org/html/2607.20433#S3.F2) 所示，我们观察到无论采用何种保留机制，专业知识的灾难性侵蚀都会发生。虽然通用语言性能得以维持，但域外能力，特别是数学和编码能力，以更快的速度崩溃至接近零的水平。

表 1: \(C\) 源分布对 OLMo-2-Instruct 在 MEMIT 批量编辑下的影响。将 \(C\) 与 OLMo-2 的实际预训练语料库 (OLMo-Mix-1124) 对齐，与传统的维基百科代理相比，能显著减轻跨域崩溃（参见评估指标 C.3 (https://arxiv.org/html/2607.20433#A3.SS3)）。括号内数值表示在最易受影响的领域（代码和数学）中，相对于维基百科基线的绝对改进 (\(+\Delta\))。Oracle 构建细节见附录 A.2 (https://arxiv.org/html/2607.20433#A1.SS2)。\(N=2,000\) 次编辑

| 编辑指标 | | | | 保留指标 | | | | | | | |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| \(C\) 来源 | ESP | SEffi | Gen | Spec | Flu | Con | He | Sw | Wi | Gr | MMLU | ARC | HEG | GSM8K |
| 常规代理 | 维基百科 | .961 | .831 | .830 | .443 | .481 | .946 | .258 | .776 | .672 | .527 | .505 | .140 | .352 |
| 预训练对齐分布 (OLMo-2) | Dolma 1.7 (仅 Wiki 子集) | .950 | .791 | .789 | .383 | .462 | .951 | .245 | .769 | .657 | .550 | .501 | .232 (+.092) | .378 (+.026) |
| | OLMo-Mix (预训练-oracle) | .942 | .796 | .767 | .386 | .455 | .961 | .242 | .774 | .676 | .552 | .521 | .238 (+.098) | .485 (+.133) |

这种惯例引入了一个结构性偏差。像 Dolma (Soldaini 等，2024 (https://arxiv.org/html/2607.20433#bib.bib14)) 和 RedPajama (Together Computer，2023 (https://arxiv.org/html/2607.20433#bib.bib15)) 这样的现代预训练语料库高度异构，而维基百科仅限于百科全书式的散文。从如此狭窄的代理中估计出的协方差矩阵仅跨越与事实检索相关的激活子空间，使对这些专业领域至关重要的方向不受约束。因此，依赖这种不完整 \(C\) 的编辑算法无意中扭曲了未受保护的子空间，导致如图2 (https://arxiv.org/html/2607.20433#S3.F2) 所示、表1 (https://arxiv.org/html/2607.20433#S3.T1) 量化的快速退化。

#### 为什么 \(C\) 单独决定更新

对于此处考察的闭式协方差约束编辑器，参数**更新**仅通过非中心协方差 \(C\) 依赖于输入分布；输出侧因子 \(G\) 在闭式最优解中被抵消。这不是一个假设，而是命题1 (https://arxiv.org/html/2607.20433#Thmtheorem1) 中建立的抵消的结果（对于 MEMIT，根据注释 1 需要软正则化极限）。

参见图注

图 2: **在 OLMo-2-Inst 上的 Counter Factual 数据中进行顺序编辑时，不同知识领域的不对称退化率。**

#### 超越预训练 oracle。

一个自然的假设是最优的 \(C\) 应源自模型原始的预训练混合数据。我们通过使用官方的 OLMo-Mix-1124 语料库构建一个“Oracle”协方差来测试这一点，采样时精确遵循预训练比例（表1 (https://arxiv.org/html/2607.20433#S3.T1)）。相对于维基百科基线，预训练对齐的 oracle 在编辑质量上付出适度代价，但显著改善了对专业能力的保留。令人惊讶的是，我们提出的那种自生成分布与甚至这个 oracle 相比极具竞争力，且经常超越它（表9 (https://arxiv.org/html/2607.20433#A5.T9)）。如图 3 所示，后训练过程（例如，SFT, DPO）将模型的操作流形移离其原始的预训练分布，直到