X-MADAM-RAG: 诊断与处理检索增强生成中的中英文证据冲突

# 诊断与处理检索增强生成中的中英文证据冲突
来源：https://arxiv.org/html/2606.12903
11institutetext:四川大学，成都，中国
11email:2023141520239@stu\.scu\.edu\.cn
11email:fuyu05@stu\.scu\.edu\.cn
11email:yong\.zhao@scupi\.cn###### 摘要

检索增强生成（RAG）系统可能接收到不仅噪声大而且相互矛盾的证据。这一问题在多语言环境中尤为突出，因为检索到的中英文证据可能支持互不兼容的答案候选项。我们通过X-RAMDocs-ZHEN来研究这个问题，这是一个从RAMDocs衍生的受控中英文基准测试，用于诊断RAG中的证据冲突。该基准测试包含300个示例，分布在六个平衡的条件下，包括单语言支持、双语一致、反向冲突方向以及带有可选噪声的冲突。我们进一步研究了X-MADAM-RAG，一个可解释的流水线，它将证据处理分解为每个文档的候选提取、可见证据修复、确定性候选分组和冲突感知聚合。在原始受控基准测试中，使用Qwen2.5-7B-Instruct时，X-MADAM-RAG达到了0.9667的严格准确率和0.9767的冲突感知成功率，优于证据归一化的单次调用基线。然而，一个零次调用的纯规则提取器在同一基准测试上达到了1.0000，揭示了强烈的模板规律性。为了探究这一局限性，我们构建了一个确定的自然化压力测试，移除了明确的答案模板，同时保留了候选字符串。在其100个样本的子集上，纯规则提取器降至0.0000，但X-MADAM-RAG的严格准确率也降至0.3000，低于朴素基线和证据归一化基线。一个特权版预言机保持完美，表明文档级提取是主要的瓶颈。这些发现将X-RAMDocs-ZHEN和X-MADAM-RAG定位为受控证据冲突的诊断工具，而非通用幻觉检测或自然检索鲁棒性的证据。

## 1. 引言

检索增强生成已成为一种广泛使用的方法，用于改进大型语言模型的事实基础。通过基于外部证据进行生成，RAG系统旨在减少对参数化记忆的依赖，并产生更受检索文档支持的回答。然而，检索到的证据并不总是一致的。在现实的多语言场景中，系统可能会检索到支持同一问题不同答案的中英文来源——例如，一个中文片段可能支持一个日期，而一个英文片段支持另一个日期，这迫使系统保留分歧而不是默默地选择其中一个候选者。

大多数多语言RAG工作关注跨语言证据是否能帮助回答问题。我们关注一个补充性的诊断问题：当不同语言的证据支持冲突的答案时，RAG系统会如何表现？我们特别感兴趣的是，系统是否可以保留证据支持的候选者，识别冲突，并避免生成无支持的候选者。

为了研究这一点，我们构建了X-RAMDocs-ZHEN v0.1，一个受控的中英文基准测试，包含300个示例，分布在六个平衡的证据条件下。我们还研究了X-MADAM-RAG，一个可解释的流水线，它逐文档提取候选者，应用无标签修复，确定性分组候选者，并以冲突感知的方式聚合提取的候选者。在原始基准测试上，X-MADAM-RAG显著优于单次调用LLM基线，但一个纯规则提取器也能完美解决它。一个自然化压力测试移除了明确的答案模板：纯规则提取崩溃，但X-MADAM-RAG也退化到低于单次调用基线，而特权版预言机保持完美，从而识别出提取是主要瓶颈。

我们的贡献有三方面：

1.  1. 我们引入了X-RAMDocs-ZHEN v0.1，一个具有六个平衡条件的、有泄漏意识的中英文受控证据冲突基准测试。
2.  2. 我们提出了X-MADAM-RAG，一个可审计的流水线，包含逐文档提取、可见证据修复、确定性分组和冲突感知聚合。
3.  3. 我们提供了诊断分析，展示了原始模板的成功、消融贡献和自然化提取的脆弱性——将文档级提取鲁棒性确定为核心未解决问题。

我们并未声称该基准测试经过了人工验证，X-MADAM-RAG解决了幻觉检测问题，或者这些结果能泛化到自然的多语言检索中。

## 2. 相关工作

先前关于RAG忠实度和幻觉诊断的工作评估了生成的输出是否得到检索上下文的支持。FaithEval检查了参数-上下文冲突下的模型忠实度[6 (https://arxiv.org/html/2606.12903#bib.bib1)]，FaithfulRAG建模了事实级冲突[12 (https://arxiv.org/html/2606.12903#bib.bib2)]，RAGChecker提供了细粒度的RAG诊断[8 (https://arxiv.org/html/2606.12903#bib.bib3)]，RefChecker侧重于以知识为中心的幻觉[4 (https://arxiv.org/html/2606.12903#bib.bib4)]。多语言幻觉也在共享任务如Mu-SHROOM中得到了研究[9 (https://arxiv.org/html/2606.12903#bib.bib9)]。我们的工作更为狭窄：我们使用自动词汇度量而非开放式的语义忠实度，来诊断在受控的中英文证据冲突下的答案候选行为。

当检索到的证据包含不兼容的声明或与参数化知识相矛盾时，就会出现知识冲突[11 (https://arxiv.org/html/2606.12903#bib.bib5),2 (https://arxiv.org/html/2606.12903#bib.bib10),1 (https://arxiv.org/html/2606.12903#bib.bib11),3 (https://arxiv.org/html/2606.12903#bib.bib12)]。RAMDocs和MADAM-RAG通过研究具有冲突证据的RAG直接激发了我们的基准测试设计[10 (https://arxiv.org/html/2606.12903#bib.bib6)]。我们用一个跨语言维度扩展了这个设置：中英文证据被控制为一致、不一致或反转哪个语言携带参考候选者。基于分解的方法，如MADAM-RAG和FaithfulRAG，在聚合之前以更小的单元处理证据；X-MADAM-RAG遵循这一路线，但在文档级提取后使用确定性候选分组，使得每个阶段都可单独检查。

多语言和跨语言RAG系统跨语言检索和生成。XRAG研究了跨语言检索增强生成[5 (https://arxiv.org/html/2606.12903#bib.bib7)]，多语言RAG工作也研究了跨语言的知识密集型问答[7 (https://arxiv.org/html/2606.12903#bib.bib8)]。我们的工作补充了这些，专门关注中英文证据之间的答案级分歧，使用受控条件将冲突方向与检索噪声隔离开来。

## 3. X-RAMDocs-ZHEN 基准测试

### 3.1 任务与数据集

给定一个问题以及一组中文和/或英文证据片段，系统必须仅使用可见证据产生一个答案或冲突感知的响应。证据可能支持单个候选者、多个匹配的候选者，或跨语言的不兼容候选者。一个理想的系统应该保留证据支持的候选者，识别分歧，避免无支持的候选者，并提供可追溯的证据使用。该任务是诊断性的：证据条件是受控的，私有元数据仅用于构建和评估。

X-RAMDocs-ZHEN v0.1源自RAMDocs，包含300个样本，共534个证据文档，中英文平均分配。问题是双语的（175个中文，125个英文）。冲突涵盖实体（144个）、日期（101个）和数字（55个）。该基准测试使用了来自68个可用RAMDocs记录的54个唯一源记录，具有100%的来源覆盖率和零个自动严重错误或警告。尚无完整的人工审计。

### 3.2 证据条件

该基准测试包含六个平衡的证据条件（表1 (https://arxiv.org/html/2606.12903#S3.T1)）。

表1：六个平衡的证据条件。内部标签已保留以确保可重复性。
### 3.3 构建与泄漏控制

图1 (https://arxiv.org/html/2606.12903#S3.F1)总结了X-RAMDocs-ZHEN的构建和泄漏控制设计。该基准测试从RAMDocs记录开始，规范化问题、答案和文档字段，呈现受控的中英文证据片段，分配六个平衡的证据条件之一，并将私有来源标识符替换为公共证据ID。标准方法仅接收公共提示字段：问题、可见证据文本、公共证据ID和语言标签。黄金答案、文档角色、语言角色、条件标签、预期行为和支持答案的元数据对标准提示是隐藏的，仅用于构建和自动评估。

参见图注图1：X-RAMDocs-ZHEN的构建和泄漏控制流程。标准方法仅接收问题、可见证据文本、公共证据ID和语言标签。黄金答案、文档角色、冲突标签、语言角色、预期行为和支持答案的元数据对标准提示是隐藏的，仅用于构建和自动评估。预言机诊断是唯一访问文档级支持答案元数据的方法，因此不可部署。这种分离确保标准模型无法从隐藏标签或构建元数据推断目标行为。预言机诊断是唯一的例外：它访问文档级支持答案元数据，因此仅被视为特权的上界分析，而非可部署的基线。

### 3.4 自然化压力测试

由于原始基准测试使用受控的证据模板，我们构建了一个自然化的压力测试。这种确定性转换移除了明确的答案模板，同时保留了答案候选字符串和私有元数据，测试方法是否依赖于诸如“答案是”或“答案是”之类的表面线索。完整的转换集覆盖了所有300个样本和534个文档，零个剩余模板，完美保留了候选者和元数据。我们评估了一个100样本的近似平衡子集；它仍然是受控散文，而非自然检索。

## 4. 方法

### 4.1 基线与诊断

朴素RAG基线将所有可见证据连接到一个提示中，并要求模型返回答案、证据标识符、冲突标志和注释。证据归一化RAG基线在进行单次模型调用之前按语言对可见证据进行分组，测试显式语言组织是否有帮助。纯规则提取器应用保守的中英文表面模式，确定性分组归一化后的候选者，并在零次模型调用的情况下生成固定响应；它衡量模板依赖性，而非语义提取。预言机诊断将文档级提取替换为私有的supported_answer元数据，并应用相同的下游分组和聚合；它是特权的且不可部署的，仅用于估计不完美提取的影响。

### 4.2 X-MADAM-RAG

图2 (https://arxiv.org/html/2606.12903#S4.F2)给出了X-MADAM-RAG的概览。该流水线将证据冲突处理分解为文档级提取、可见证据修复、候选归一化、确定性分组和冲突感知聚合。每个证据文档由一个提取代理独立处理，该代理仅接收问题、公共证据ID、语言标签和可见证据文本。

参见图注图2：X-MADAM-RAG流水线。每个证据文档由一个提取代理独立处理。缺失或不可用的候选者可能仅从可见证据中修复。然后，归一化后的候选者被确定性分组。单个组产生直接答案，多个组产生冲突枚举，无组则弃权。无修复和无分组消融移除相应组件，而预言机诊断将提取替换为特权的文档级元数据。当提取失败或返回不可用的候选者时，一个无标签修复模块会搜索解析后的字段、原始代理输出和可见证据；它不能访问隐藏元数据。修复后的候选者被归一化和确定性分组。单个候选组产生直接答案，多个组产生显式冲突枚举，无候选者则弃权。

我们评估了两种消融方法。无修复变体移除了修复阶段，同时保留了提取、分组和聚合。无分组变体将确定性分组替换为基于模型的冲突决策。这些方法隔离了每个组件的贡献。预言机诊断仅将提取阶段替换为私有的文档级支持答案元数据，区分提取失败与下游分组和聚合失败。

## 5. 实验设置

所有LLM实验使用本地 Qwen2.5-7B-Instruct 推理，采用确定性解码（温度 0）、bfloat16 权重、SDPA 注意力机制和最多 512 个新 token。111Python 3.10.20, PyTorch 2.6.0+cu124, Transformers 4.57.6, NVIDIA RTX 4090 (≈≈48 GiB VRAM)。仅评估了一个模型。我们在原始的 300 样本基准测试和 100 样本的自然化压力子集上进行评估；组件消融仅在原始基准测试上运行。

我们使用了五个自动度量。严格准确度衡量返回答案与参考之间的归一化词汇匹配。冲突感知成功要求对冲突样本进行冲突识别和参考候选保留，并归结为对非冲突样本的严格正确性。冲突 F1 评估预期冲突与预测冲突。冲突意识衡量预期冲突案例中的显式冲突表达。无支持候选比率衡量生成的候选者是否无法在私有元数据中与任何证据支持的候选者进行词汇匹配。这些度量均不构成语义蕴涵、事实验证或人类判断。

对于原始基准测试的比较，我们使用了 1,000 次自助重抽样，种子为 13；配对符号检验是探索性的，未针对多重比较进行校正。

## 6. 结果与分析

### 6.1 原始受控基准测试

表 2：原始受控基准测试（300 个样本）上的结果。每列最佳值以粗体显示。纯规则和预言机行为诊断行：纯规则衡量模板依赖性；预言机使用特权的 supported_answer 元数据，不可部署。在可部署的 LLM 方法中，X-MADAM-RAG 在原始基准测试上表现最佳。它将严格准确度比证据归一化 RAG 提高了 0.0767，并将无支持候选率从 0.1067 降低到 0.0200（严格准确度差异的 95% 自助置信区间：[0.0367,0.1167]；探索性符号检验 p=0.0004）。然而，纯规则提取器也达到了完美性能，表明原始基准测试具有很强的模板规律性。因此，原始基准测试的结果应解释为受控诊断性能，而非语义提取鲁棒性的证据。

### 6.2 组件消融

表 3：原始基准测试上的组件消融。在原始 X-MADAM 流水线中，两个组件都有贡献。禁用修复导致了最大的下降，将严格准确度从 0