分解引发的上下文-记忆冲突：当事实核查流程与其源文本自相矛盾时

# 分解引发的上下文-记忆冲突

来源：https://arxiv.org/html/2608.10627

## 1 分解引发的上下文-记忆冲突：当事实核查流程与其自身源文本相矛盾

—

### 1.1 摘要

分解-然后-验证流程，包括 FActScore 风格的事实核查器、幻觉检测器和长篇事实性评估器，会先将一段文本拆分为原子化声明，再逐一核查。分解本身被视为中立的预处理步骤。我们证明并非如此。当语言模型分解一段文本时，它可以被诱导用自身的参数化信念替代文本实际表述的内容，从而生成一个与它本应忠实总结的源文本相矛盾的声明。我们将其称为分解引发的上下文-记忆冲突（Decomposition-Induced Context-Memory Conflict, DI-CC），并证明它在机制上与经典的上下文-记忆冲突是同一现象，只是发生在先前工作未曾检视的不同流程阶段。一个仅用经典上下文-记忆冲突数据（NQ-Swap）训练、从未接触任何分解输出的线性探针，能够显著区分产生 DI-CC 的分解位置与忠实分解，并且在大多数（但非全部）测试配置下，也能区分非矛盾性扩展内容，n=64 个 DI-CC 阳性样本时（AUC = 0.86–0.88，95% CI 排除随机水平，置换检验 p < 0.0005，这是 2000 次置换检验的分辨率极限）。该结果在方差比准则以及标准留出-准确率层选择准则（无需任何事后调整）下均成立，并且复现了原始 n=14 试点在更大、同构样本上的效应量（非独立构建的重复实验），每个阳性案例均经独立人工验证。在同一数据集上，现有的无参考基线方法——SelfCheckGPT 风格的自一致性采样——完全无法检测 DI-CC（AUC 0.51，随机水平）。这一失败在机制上是可预测的：DI-CC 的定义性稳定性（可恢复、可复现的参数化内容）使其在重采样中持续复现而非变化，这与自一致性方法所依赖的信号恰好相反。基于这一机制性发现，我们证明上下文感知解码（Context-Aware Decoding, CAD），一种来自经典冲突设置的无训练缓解方法，可以迁移到分解设置并显著抑制 DI-CC（从 4.16% 降至 2.57%，McNemar 检验 p = 0.000041）。但这付出了严重代价：在共指密集条件下，19.4% 的分解结果完全无法解析，而这些失败中有 84% 涉及分解器编造了另一个人物身份，而非仅仅省略细节。这是原始 CAD 论文未报告的忠实性-完整性权衡，我们认为其当前实现尚不具备部署条件。此外，我们刻画了该机制的边界。其自然发生频率过于稀疏，无法进行可靠回归（占原子化声明的 0.2–0.4%）；在 FActScore 的外部支持标准下，它不会显现于自然发生的幻觉文本；并且它需要最低模型规模才能被检测到：3B 模型在基于准确率的标准和面向泛化的（方差比）层选择准则下均无法显示该信号，这一下限模式不依赖于所用准则，而 7B 模型在两种准则下均成功。14B 模型在方差比选择下成功，但在基于准确率的选择下失败；该准则是在观察到 14B 模型基于准确率选择失败后才采用的（第 7 节），因此我们不将该量级视为信号随规模增加的确证证据，并在此摘要中略去。综上，这些结果确立了 DI-CC 是分解-然后-验证流程中一个真实、具有机制基础且可部分处理的失败模式，我们描述其范围时力求精确而非夸大。

—

### 1.2 1. 引言

长篇事实性评估和幻觉检测越来越多地采用分解-然后-验证的流程：将生成的文本拆分为短小、自包含的原子化声明，然后针对参考来源逐一核查（Min et al., 2023; [DnDScore, 2024]）。这一分解步骤被视作辅助性工作，是为了获得更细粒度的验证，而非产生新错误的环节。然而，分解器本身就是一个语言模型，而语言模型在参数化知识与上下文信息不一致时，会倾向于用自己的参数化知识替代上下文中的知识，这一现象在上下文-记忆冲突（context-memory conflict）的名称下已被广泛研究（Longpre et al., 2021）。尚无先前工作探讨这一失败模式是否也发生在分解步骤内部：在将一段文本重新表述为原子化声明的过程中，分解器是否可能悄然将文本的实际表述替换为模型自身的信念，从而生成一个随后又被独立“验证”为与它所矛盾的源文本一致的声明？

我们将其称为分解引发的上下文-记忆冲突（DI-CC）：分解器在将源文本 RR 原子化的过程中，产生了一个原子化声明 cic_i，它 (a) 不被 RR 蕴含，(b) 包含可追溯到分解器自身闭卷知识的（即通过探测同一模型且不访问 RR 便可恢复的）内容，并且 (c) 直接与 RR 所陈述的内容相矛盾。我们将其与一个更弱的、非矛盾性的姊妹现象区分开来——分解引发的不受支持扩展（Decomposition-Induced Unsupported Elaboration, DI-UE），其中注入的内容填补了 RR 从未涉及的空白，而非推翻 RR 实际陈述的内容。两者共享相同的底层注入机制；只有 DI-CC 是严格的冲突。

在描述我们的测试方法之前，先说明一个范围界定问题。我们关于 DI-CC 的主要证据——机制性检验（H0）及其派生内容（缓解研究、规模消融）——使用的是诱发式（elicited）构建：一种明确授权分解器依据自身知识核查事实并纠正错误的分解指令。该指令并非附带条件。我们在第 4.1 节表明，这是我们通过经验发现的必要条件：没有它，DI-CC 根本不会出现，即使源文本包含一个分解器原则上能够捕捉的篡改细节。我们明确说明这证明了什么、不证明什么。它确立了存在性和机制：分解器在被授权将来源与自身信念调和的情况下，能够且确实会覆盖来源，且其机制与经典上下文-记忆冲突连续。它本身并不确立普遍性：在分解器未被如此授权时，这种情况发生的频率有多高。我们如实并单独报告这一问题。自然的、非诱发式的发生率非常低（第 5 节），而且该机制在一个真实世界的幻觉基准上、在其自然条件下不会显现（第 4.4 节）；我们在此说明这一点，以免读者只能在后文那些不太有利的结果中才推断出诱发式构建的范围。第 4.4 节还具体讨论了在何种条件下，诱发式前提在我们的合成构建之外预计成立。

用行为层面的证据证明 DI-CC 的存在——通过自然语言推理（NLI）检查某声明不被 RR 蕴含但可从模型自身知识恢复——并不足以确立它与经典上下文-记忆冲突是同一现象，而非一种恰好表面相似的无关幻觉形式。一个持怀疑态度的审稿人自然会反驳说，分解器只是“在添加内容”，而仅有基于 NLI 的行为证据无法排除这一点。我们转而用机制性论证来回应。如果 DI-CC 在本质上与经典上下文-记忆冲突是同一底层现象，那么一个完全只在经典冲突数据上训练、完全未接触任何分解输出的线性探针，在零样本应用于分解激活时，仍应能够检测 DI-CC 位置，并且其对 DI-CC 的响应强度应高于对非矛盾性扩展的响应。这将排除另一种解释——即探针只是在泛泛地检测“内容被添加了”。

主要贡献。我们的核心主张是机制性的：DI-CC 不仅仅是一种行为上定义的模式，而是与经典上下文-记忆冲突相同的底层现象，只是发生在先前工作未触及的流程阶段更早一步的位置。

1. DI-CC 在机制上是真实的（主要结果）。我们首次给出了分解引发冲突（DI-CC/DI-UE）的形式化定义，并设计了一个机制性检验（H0），将其与仅在行为上相似的无关幻觉模式区分开来。一个仅在经典冲突数据上训练的探针，能够检测其从未见过的分解激活中的 DI-CC，n=64 时采用文献验证的、面向泛化的层选择准则（AUC 0.86–0.88，95% CI 排除随机水平）。这复现了初始 n=14 试点在更大、同构样本上的效应量，两个样本中的每个阳性案例均经独立人工验证。在相同数据集上，现有的无参考基线方法——SelfCheckGPT 风格的自一致性采样——完全无法检测 DI-CC（AUC 0.51，随机水平）。这一差距在机制上是可预测的，因为 DI-CC 的定义性属性（稳定、可恢复的参数化内容）使其在重采样中持续复现而非变化，这与自一致性方法旨在标记的信号恰好相反。
2. 一种经典缓解方法可以迁移，但尚不可部署（支持性结果）。上下文感知解码（Context-Aware Decoding），一种来自经典冲突设置的缓解方法，可以迁移到分解设置并显著抑制 DI-CC，表明该机制可以通过无训练干预加以操控，而不仅仅是被观察到。但这带来了严重且此前未报告的代价：在共指密集条件下，19.4% 的分解结果在 CAD 下无法解析，其中 84% 的失败涉及分解器编造出一个完全不同的人物身份，而非仅仅省略细节。我们不认为这是一个已解决或可部署的缓解方法；我们将其报告为机制可操控性的证据，并附带了严重且已描述清楚的副作用。
3. 该机制具有可识别的边界（范围）。DI-CC 的自然发生频率过于稀疏，无法进行可靠回归。它不会在 FActScore 的自然发生幻觉文本上显现，原因是可以识别的：真实幻觉往往落在模型没有明确意见的空白处，而非落在模型持有正确信念并进而将其覆盖的位置。它还需要最低模型规模才能被检测。一个朴素的规模消融起初看似杂乱无章，但使用来自 OOD 泛化探测文献的准则（在观察到初始杂乱结果之后，而非之前采用；第 7 节讨论了由此产生的选择警示）重新分析后，将定性模式转变为一致的能力阈值：3B 在两种准则下均失败，较大规模则成功。研究中强度最高的单个结果出现在该重新分析同时人工验证所有阳性案例的规模，但其精确量级带有同样的事后选择警示，应据此加权。

第 3 点还引出一个方法学层面的次要贡献：探测层选择不仅是实现细节，而且可能是一个看似杂乱结果的主导来源，我们展示了一个具体的、有文献依据的修复方法。在整个过程中，我们与阳性结果一同报告所有不显著或边界条件的结果，这不是为了保守，而是因为由此得出的范围主张（真实的、机制性的、部分可处理的、且边界精确的）是本文的贡献，而非对原本更宏大主张的折扣。

—

### 1.3 2. 问题定义

设 RR 表示源文本，DD 表示分解器语言模型，MDM_D 表示 DD 的参数化知识，cic_i 表示 D(R)D(R) 生成的第 ii 个原子化声明。

参数化注入。如果声明 cic_i 包含内容 I=content(ci)∖content(R)I = \mathrm{content}(c_i) \setminus \mathrm{content}(R)，并且满足 R⊧̸ciR \not\models c_i（NLI 模型判定 RR 不蕴含 cic_i）且 I∈Recoverable(MD)I \in \mathrm{Recoverable}(M_D)（对 DD 进行闭卷探测，不访问 RR，能稳定复现 II），则称 cic_i 表现出参数化注入。

- DI-CC（矛盾性）：II 直接与 RR 中已有的信息相矛盾。这是严格意义上的上下文-记忆冲突。
- DI-UE（扩展性）：II 填补了 RR 从未涉及的位置，且不与之矛盾。这不是严格冲突，但共享相同的注入机制，同样可能破坏下游验证。

每个不被 RR 蕴含的声明都会通过第二轮 NLI 检查其是否可从 MDM_D 恢复，使用的闭卷“知识倾泻”是从 DD 中针对同一主题诱发的，作为 DD“知道”什么的真值。注入内容不可追溯至 MDM_D 的声明被排除为无结构幻觉，而非参数化注入。

表征性上下文-记忆冲突特征。考虑经典的上下文-记忆冲突设置：上下文给出明确答案 aca_c，闭卷参数化答案 ama_m，且 ac≠ama_c \neq a_m。我们假设残差流的某个层 ℓ∗\ell^* 存在一个线性方向 w\mathbf{w}，可以区分“冲突发生”与“冲突未发生”。这遵循了其他研究中用于定位冲突相关表征的层扫描探测方法论（Pham et al., 2026，关于记忆内冲突；Zhao et al., 2024/NAACL 2025，关于上下文-记忆冲突）。

H0（机制性假设）。如果 DI-CC 在机制上与经典上下文-记忆冲突同源，那么一个仅在经典冲突数据上训练、从未接触任何分解输出的探针 w\mathbf{w}，在零样本应用时，应能以高于随机水平的准确率将 DI-CC 生成位置与 (a) 忠实分解和 (b) DI-UE 位置区分开。

—

### 1.4 3. 相关工作

知识冲突。上下文-记忆冲突，即模型的参数化信念与其上下文所述内容不一致，主要是在问答场景中被研究，其中 NQ-Swap（Longpre et al., 2021）是标准构建：将支持段落中的一个金标答案实体替换为同类型干扰实体，从而使上下文与模型的闭卷答案干净地不一致。上下文感知解码（Shi et al., 2023; NAACL 2024）在推理时通过对比有条件于上下文的输出分布与无条件于上下文的同一分布来缓解这种冲突，从而放大模型对上下文的注意。大规模冲突基准如 ConflictBank（Su et al., 2024）通过实体替换和 LLM 诱发的反事实构建了数百万对声明-证据对，以在大规模上研究冲突。所有这些工作都在最终答案生成阶段研究冲突。我们研究的则是更早的、不同流程阶段——分解，这是上述文献均未涉及的。

基于分解的幻觉检测。FActScore（Min et al., 2023）确立了原子化分解-然后-验证的流程，现已成为长篇事实性评估的标准做法，即针对外部参考（维基百科）核查每个原子化声明。DnDScore（2024）考察了分解与去上下文化之间的相互作用，CREDENCE（Tran, Mai, and Le, 2026）引入了实体保留率和语义 F1 指标，以捕捉分解器遗漏或扭曲内容的情况。这两篇论文都承认，在分解过程中……