Eval-Pair Matrix：面向有源检索增强生成的LLM评判者答案配对元评估

# Eval-Pair Matrix: 面向基于源的RAG中LLM评判者的答案配对元评估
来源：https://arxiv.org/html/2607.10626

###### 摘要

LLM作为评判者（LLM-as-a-judge）的评估方式被广泛用于检索增强生成（RAG），但将同一模型家族同时用作生成器和评判者，会使自我宽容（self-leniency）问题难以识别。我们提出Eval-Pair Matrix，一种针对源基RAG（source-grounded RAG）的受控元评估协议。从GaRAGe的问题和依据段落出发，我们在每条记录中诱导一个隐藏的答案因果矛盾（answer-causal contradiction），用GPT、Grok和Gemini模型基于扰动后的段落生成答案，然后使用相同模型作为盲评者，针对原始段落评估每个答案。实验包含300条核心记录、897个标注的生成器输出，以及一个交叉的3×3矩阵中的2,683条评判结果；主要分析使用275条完全验证的记录。我们不比较不同答案的对角线单元与非对角线单元，而是通过将评判者配对到同一个候选答案上来估计同模型效应。这改变了解释方式：对角线与对角线的F1值相似，配对后同模型的召回率效应接近于零（-0.5个百分点；95%聚类自助法置信区间[-2.7, +1.7]）。唯一稳健的配对差距在于：对于避免使用诱导声明的答案，同模型评判者的标记率较低（-4.3个百分点）。一项针对性的人工评估发现，审查出的明显误报（false positives）实际上是替代性的源错误检测、关于是否采纳诱导声明的标注错误，或难以判断的情况；没有一例被判定为真正的误报。经验教训是方法论的：RAG评判者研究应报告完整矩阵、答案配对效应、行为分层以及标注任务对齐。

**Eval-Pair Matrix: 面向基于源的RAG中LLM评判者的答案配对元评估**

Sriram Selvam ([email protected])  
Anneswa Ghosh ([email protected])

## 1 引言

检索增强生成（RAG）系统将语言模型的参数知识与推理时提供的外部段落相结合（Lewis et al., 2020）。这使得它们对知识密集型应用具有吸引力，但也造成了困难的评估问题：答案可能很流畅、带有引用，但仍然与参考段落矛盾。在实践中，许多RAG评估现在使用另一个LLM作为评判者，因为LLM评判者成本低、速度快，并且能生成结构化的理由（Liu et al., 2023; Zheng et al., 2023; Kim et al., 2023）。当生成器和评判者来自同一模型家族时，评估可能变得循环。

现有的LLM评判者工作记录了位置、冗长性、长度、风格、熟悉度和自我偏好效应（Dubois et al., 2024; Shi et al., 2024; Liu et al., 2024; Wataoka et al., 2024; Ye et al., 2024; Spiliopoulou et al., 2025）。该文献还表明，自我偏好是一个识别问题：评判者可能偏好自己模型的输出，因为该输出更好、更清晰、更熟悉或风格更一致，而不是因为评判者对自己的模型宽容。我们研究这个问题在源基RAG中如何变化。如果我们诱导一个已知的、对评判者隐藏的源相对矛盾，那么评判者并不是在挑选自己喜欢的答案；它是在检查候选答案是否与原始证据矛盾。

参照图1：Eval-Pair Matrix流程。扰动在答案生成之前经过生成和验证。评判者仅看到原始问题、候选答案和原始依据；他们看不到扰动、行为标签或诱导错误采纳标签。最终分析结合了交叉矩阵、答案配对自助法、行为分层和针对性人工评估。

我们从GaRAGe构建任务，这是一个包含人工编写答案和段落级依据标注的基准（Sorodoc et al., 2025）。对于每个选中的示例，一个LLM扰动器选择一个答案因果目标命题，并重写所有陈述或蕴含该主张的段落，使得证据一致地支持一个合理但错误的替换值。生成器使用扰动后的依据回答原始问题。评判者随后仅根据未修改的依据评估答案。图1总结了端到端的设计。

原始的对角线分析将每个评判者的匹配模型单元与该评判者的两个非对角线生成器单元进行比较。这种对比在描述上有用，但在推论上不可行：它比较了具有不同风格、拒绝率和难度的不同答案。而成对估计量则提出：**在完全相同的候选答案上**，匹配的评判者与非匹配的评判者行为是否不同？这重新构建了研究，从提供者特定的答案分布转向同模型配对效应。

这种成对分析改变了对原始矩阵的解释。在275条完全验证的记录上，原始对角线/非对角线F1差异很小（对角线84.4，非对角线83.4）。成对答案级别的聚类自助法发现，在错误检测召回率上没有稳健的同模型效应（Δ=-0.5个百分点，95%置信区间[-2.7, +1.7]）：评判者普遍没有更少地捕捉到由自己模型生成的答案中的诱导错误。唯一稳健的配对差异出现在避免使用诱导虚假声明的答案上：与生成器来自同一模型的评判者标记这些答案的频率低于另外两个评判者（Δ=-4.3个百分点，置信区间[-6.6, -2.0]）。这不应被解读为较低的误报率。我们的自动诱导错误采纳标签只记录答案是否采纳了扰动引入的虚假声明，而评判者被要求标记任何与原始段落相比的事实错误。一个答案可能避免诱导虚假声明，但仍然包含其他与源相关的错误，尤其是在它拒绝、回避或描述矛盾证据时。在针对性的人工评估（88个案例）中，审查的25个明显误报中没有一个是真正的误报：它们是替代性的真实源错误、诱导错误采纳标签的标注错误，或难以判断的情况。因此，明显的误报率效应最好解释为采纳标签与评判者更广泛的源依据任务之间的不匹配，而不是同模型自我宽容的证据。

#### 贡献。

本文的贡献既是方法论的，也是实验性的：

- **协议**: 一种受控的RAG元评估设置，具有隐藏的局部源矛盾，并针对原始依据进行盲评。
- **成对估计量**: 在答案级别上的同模型对比，比较匹配和非匹配评判者在同一候选答案上的表现。
- **实验结果**: 没有稳健证据表明同模型评判者普遍遗漏了自己模型答案中的诱导错误。
- **解释**: 剩余的标记差距反映了生成器行为以及标签/任务不匹配，由针对性的人工评估支持。

## 2 相关工作

#### RAG与依据评估。

RAG将参数生成与检索到的非参数证据相结合（Lewis et al., 2020）。自动化的RAG评估器如RAGAS和ARES从忠实度、上下文相关性和答案正确性等维度进行评分（Es et al., 2023; Saad-Falcon et al., 2023）。关于归因、引用支持的生成和事实一致性的工作同样将依据视为声明/源对齐（Rashkin et al., 2023; Gao et al., 2023; Honovich et al., 2022; Min et al., 2023）。RAGTruth和FaithBench提供了幻觉标注或具有挑战性的事实案例（Niu et al., 2024; Bao et al., 2024）。我们使用GaRAGe作为源数据集，因为它提供了长形式答案和段落级依据，覆盖2,366个问题和超过35K个段落（Sorodoc et al., 2025）。我们的协议比一般的RAG评分更窄：它创建配对的原始/扰动依据集，使目标矛盾局部化并对评判者隐藏。

#### 上下文评判者与拒绝行为。

LLM评判者被广泛用于评估生成文本和指令遵循输出，包括G-Eval、MT-Bench、Chatbot Arena和Prometheus（Liu et al., 2023; Zheng et al., 2023; Kim et al., 2023）。最近的上下文评判者基准表明，评估响应与上下文的匹配仍然困难。ContextualJudgeBench使用2,000个响应对评估上下文评判者，明确包含RAG-QA忠实度和拒绝行为（Xu et al., 2025）。RAGferee训练以RAG为中心的上下文奖励模型，用于评估有根据性和适当的拒绝（Coman et al., 2025）。这些研究激励我们的行为分析：明显的误报集中在拒绝和冲突感知输出中，而非普通的承诺答案中。

#### 自我偏好与受控评判者元评估。

先前的工作记录了模型评判者的偏见，包括长度、位置、风格、熟悉度和自我偏好效应（Dubois et al., 2024; Shi et al., 2024; Liu et al., 2024; Wataoka et al., 2024; Ye et al., 2024; Spiliopoulou et al., 2025）。一个核心困难是识别：评判者可能因其输出的真实质量、风格熟悉度或家族特定惯例而偏好自己模型的输出，而非出于自我宽容。近期工作因此主张在控制响应质量或独立判断的情况下估计偏差（Spiliopoulou et al., 2025; Chen et al., 2025a）。在事实中心的RAG中，Chen等人（2025b）未发现显著的自我偏好效应，表明事实依据可能减少在开放式偏好任务中看到的风格驱动效应。我们的工作遵循这条识别导向的路线，但将其移至更严格的源依据设置：我们在检索到的段落中诱导隐藏矛盾，从扰动依据生成自然答案，并比较匹配与非匹配评判者在完全相同的候选答案上的表现。这种答案配对设计将同模型评判效应与生成器质量、拒绝率和答案难度分离开来，同时行为分析和人工评估分析暴露了在普通偏好评分中不会出现的RAG特定混杂因素。REFLECT也使用受控的局部干预进行评判者元评估，但研究基于证据的研究代理轨迹而非RAG答案生成（Wang et al., 2026）。

## 3 任务与数据构建

### 3.1 基础数据集与扰动设计

参照图2：扰动与验证机制。只有当所有五个关卡都通过时，扰动才有效用于主要分析。失败的记录仅作为诊断保留。
参照图3：300条选定记录的扰动类型组成，按验证/诊断状态划分。
参照图4：300条选定记录的按扰动器-类型矩阵；行总计给出了每个扰动器的选定记录数。

流程从GaRAGe示例开始，这些示例包含一个有效的信息寻求问题、一个经过验证的人工编写答案，以及至少两个被标注为回答该问题的依据段落。对于每条选定的记录，一个LLM扰动器接收问题、人工答案以及承载答案的相关依据段落。扰动器必须选择恰好一个答案因果目标命题：一个存在于答案和依据中的主张，改变它会改变问题的答案。

封闭的扰动菜单包括实体替换、时间偏移、数值偏移、关系反转、位置和隶属关系变化、排名翻转、因果关系变化、否定/情态变化以及多跳桥接。对于发送给扰动器的每个段落，输出包含完整的重写段落（如果该段落陈述或蕴含所选主张），否则包含跳过原因。重写必须移除原始值以及任何会泄露它的锚点。选定的300条记录池是有意混合的，而非类型平衡的；图3和图4报告了类型组合和扰动器组合；附录A-B给出了详细信息。

#### 扰动示例。

一个数值偏移记录问："凯特琳·克拉克在WNBA的首秀在2024年如何影响联盟上座率？"原始的答案因果主张是首秀导致联盟总上座率增长了48%。扰动器将数值改为35%，生成一个说法是该联盟增长了35%的段落，同时保留段落的其余部分。一个忠实的生成器仅读取扰动后的段落，应该回答35%，但该答案相对于原始段落是虚假的。

一个关系反转记录在语义上更具破坏性。原始的Zantac审判主张说陪审团做出了辩护方裁决，导致胜诉和股价上涨。扰动后的主张说陪审团做出了原告方裁决，导致败诉和股价暴跌。这说明了为什么关系反转需要围绕目标命题进行一致性编辑，而非简单的单令牌替换。

### 3.2 验证与诊断记录

每个扰动由LLM验证通行和确定性泄漏检查进行验证；图2显示了五个关卡的流程。五个关卡是类型有效性、答案因果性、全局上下文一致性、无原始答案泄漏、以及原始与扰动矛盾。最终评估池包含300条唯一的核心记录，这些记录选自GPT、Grok和Gemini扰动器提出的扰动：分别有83、92和125条选定记录。其中，275条通过了所有五个关卡，25条是验证失败的诊断记录。我们使用275条验证记录进行所有主要结果，仅将25条诊断记录作为敏感性分析报告。图3显示，诊断记录在实体和数值记录中数量集中，在较小的位置和排名分层中诊断记录比例更大。

## 4 生成、标注与评判

### 4.1 基于扰动依据的RAG生成