在应用场景中评估RAG指标：一项实验、发现与局限性

# 评估实际应用中的 RAG 指标：一项实验、发现及其局限性
来源：https://arxiv.org/html/2607.07302

###### 摘要

本文报告了一项实证研究，旨在评估几种 RAG 指标的相关性。该实验基于一个由人工标注者从业务数据创建的问答题数据集。RAG 系统生成的回答和检索到的片段，使用来自四个库（Ragas、DeepEval、RAGChecker、Opik）的评估指标进行评分。将这些指标与两位评估者的评分以及召回率等标准指标进行比较。进行了相关性分析。最后，我们指出了我们方法的某些局限性，将其与文献中使用的方法进行了比较，并提出了未来研究的一些方向。本文最初发表于法语研讨会 EvalLLM 2026 (brabant\_2026) 的英文翻译版。

## 1 引言

评估和比较 RAG（*检索增强生成*）系统在今天仍然是一项具有挑战性的任务：即使有足够大的、带有参考答案的测试问题集，自动将系统回答与这些参考答案进行比较也远非易事。一种流行的方法是使用所谓的“LLM-as-a-judge”指标来执行此评估。尽管这些指标通常看起来比 BLEU 等经典指标更相关，但事先很难知道某个特定指标在特定数据集上的相关性如何，尤其是在评估标准可能不同的情况下（相关性、事实性、回答完整性等）。因此，在评估一个正在开发的 RAG 系统时，对可用指标进行评估以验证它们能否提供对所选标准的可接受近似值，从而能够可靠地比较正在开发的 RAG 系统的不同迭代版本，是非常有用的。通常，指标通过测量其与人类评分的相关性来评估。

本文报告了这类实验。该实验基于一个由标注者从业务数据创建的问答题数据集。使用来自四个库的 RAG 指标，对 RAG 系统生成的回答和检索到的文档进行评分：Ragas111https://docs.ragas.io/ (Es 等，2024 (https://arxiv.org/html/2607.07302#bib.bib2))，DeepEval222https://docs.confident-ai.com/，RAGChecker333https://github.com/amazon-science/RAGChecker (Ru 等，2024 (https://arxiv.org/html/2607.07302#bib.bib1))，以及 Opik444https://www.comet.com/site/products/opik/。将这些指标与参考评估进行比较：用于评估生成回答的人类评估，以及用于评估检索的召回率。

请注意，我们的目标不是比较这些评估指标，因为研究结果严重依赖于其设计过程中所做的选择。报告的实验更旨在应用一种方法，以测试其优缺点。遗憾的是，所使用的问答题数据集无法公开；然而，我们分享了原始分数和用于统计分析555https://github.com/Orange-OpenSource/evalllm2026-metric-correlation-analysis 的代码。

本文结构如下。第2节 (https://arxiv.org/html/2607.07302#S2) 描述了应用背景和使用的数据，包括手动标注和评估过程。第3节 (https://arxiv.org/html/2607.07302#S3) 描述了用于将参考评估与所测试库的指标产生的评估进行比较的方法。第4节 (https://arxiv.org/html/2607.07302#S4) 报告并分析了本实验的结果。我们方法的一些局限性在第5节 (https://arxiv.org/html/2607.07302#S5) 中强调。在第6节 (https://arxiv.org/html/2607.07302#S6) 中，我们的方法与文献中使用的方法进行了比较。最后，我们在第7节 (https://arxiv.org/html/2607.07302#S7) 中提出了一些研究前景，旨在促进应用于评估 RAG 指标的可靠方法。

## 2 背景与数据

我们公司正在开发一个 RAG 解决方案，旨在回答关于某个业务领域的法语问题。开发的系统通过两个关键模块处理每个给定的问题：首先，一个*检索器*，其作用是在一个业务文档数据库（也是法语）中检索相关片段，它结合了稠密方法和 BM25；然后，一个*生成器*，它将用户的问题和检索器返回的前5个片段注入到 GPT 3.5 的提示中，以便生成对用户问题的回答。检索器是一个结合了稠密方法和 BM25 的混合系统。

为了评估该系统的性能，从 RAG 系统使用的业务文档语料库创建了一个数据集。该数据集是一组问答对，并附有参考片段。

### 2.1 问答题数据集

该数据集包含96个问题。每个问题都带有一个参考答案，以及来自业务文档的一个或多个片段；这些片段包含回答问题所需的信息。

问答题数据集是基于现有的电信领域业务文档数据库创建的，其中包含例如不同产品和客户关系等信息。它包含479个文档，长度从11个词到14,025个词不等（平均1,112个词）。问题和答案由公司员工标注者编写，具体如下：

1. 1. 文档被分割成最多包含1000个词的“页”，利用标题和章节结构来保持内容连贯性。这个大小限制是任意选择的，目的是限制每次标注需要处理的信息量。
2. 2. 获得的页面以随机顺序分发给标注者。
3. 3. 每个标注者依次标注分配给他们页面。页面的标注过程如下： 1. (a) 标注者撰写一个与页面内容相关的问题，以及该问题的正确答案（如果可以根据页面中包含的信息给出答案）。 2. (b) 他们在页面中选择一个或多个能够回答问题的片段。这些步骤可以重复，每页最多生成5个问题。

要求标注者尽可能多样化所生成问题的类型，并在下拉列表中指明每个问题的类型。可能的问題类型及其数量总结于表1 (https://arxiv.org/html/2607.07302#S2.T1)。此外，有15个问题没有关联任何答案，因为在业务文档中找不到必要的信息。在这种情况下，系统应产生诸如“我不知道”之类的回答。

表1：问題数据集中出现的问题类型。有些问题属于多种类型。每个问题对应的片段数量从0个（对于无答案的问题）到4个不等，平均为1.3个。我们观察到与问题关联的片段大小差异很大，从1个词（标注者选择了对应答案的单个关键词）到202个词不等。关于评估指标选择的影响在第2.3节 (https://arxiv.org/html/2607.07302#S2.SS3) 中讨论。

### 2.2 RAG 系统评估过程

问題数据集旨在能够评估 RAG 系统：首先，将问题作为系统的输入，收集系统输出（生成的回答和检索到的片段）；然后使用不同的指标评估系统输出。

将生成的回答与参考答案进行比较产生一个整体分数，而将检索到的片段与参考片段进行比较则产生检索器性能分数，这可能有助于估计系统故障中多大比例归因于检索器，多大比例归因于生成器，从而有针对性地进行改进。

### 2.3 可用指标

本小节简要描述用于评估 RAG 系统的指标。我们遵循 (Ru et al., 2024 (https://arxiv.org/html/2607.07302#bib.bib1)) 的术语，其中区分了三种类型的指标：

- • *检索*指标，评估检索到的片段相对于给定问题的相关性；
- • *整体*指标，评估系统针对问题生成的回答；
- • *生成*指标，评估生成器相对于检索片段内容的行为。

#### 检索指标。

在信息检索的背景下，传统上使用几个指标来评估检索质量：召回率、精确率、nDCG、MAP等。在本研究中，我们选择报告召回率分数，这些分数将用作参考分数来评估所测试库的检索指标。*召回率*定义为在检索器返回的前 `k` 个片段中实际存在的相关元素的比例。一种常见的方法是在文档级别计算召回率，即如果参考片段所在的文档中至少有一个片段出现在检索结果中，则认为该参考片段存在。然而，这个条件并不意味着参考片段实际包含在返回的片段中：参考片段可能与检索到的片段不重叠或部分重叠。这个问题在这里尤其突出，因为我们的参考片段相对于它们来源的文档来说很短。因此，我们在词级别计算召回率，即：参考片段中的词出现在前 k 个检索到的片段中的百分比。注意，词是通过它们在文本中的位置来识别的，而不是通过它们的值：与参考片段完全不重叠的返回片段，即使包含相同的词，分数也为0。选择召回率而不是其他指标（如精确率）的理由是：(1) 其分数易于解释，(2) 由于参考片段往往相对较小，我们希望知道它们是否包含在检索器返回的固定大小的片段中，这是一个合理的期望，并且符合召回率的定义；相反，词级别的精确率必然会给出很低的分数。最后，选择该指标的依据是，它与评估者的平均分数 (`r=0.35`) 的相关性明显优于其他列出的指标，尤其是优于文档级别的召回率 (`r=0.05`)。

所测试库提供的检索指标与传统指标有两个主要不同之处：首先，其中一些指标不需要参考片段，因此即使没有这些片段也可以应用；其次，它们通常使用语言模型，这使得它们能够根据所考虑片段中语义重要的元素来计算最终分数。与召回率一样，这些指标根据前 `k` 个检索到的片段来评估检索质量。我们选择将所有指标的 `k` 固定为5，以便评估检索所基于的片段与实际插入到生成器提示中的片段相对应。

#### 整体指标。

整体指标根据特定标准评估生成回答的质量。所测试的库提供了许多对应于不同标准的整体指标。尽管这些标准多种多样，但可以注意到，大多数涉及生成回答的事实性，通常分解为两个方面：*精确率*（“回答中给出的所有信息都正确吗？”）和*召回率*（“回答中给出了所有预期的信息吗？”）。除了事实性，有时还考虑*相关性*：“回答中给出的所有信息都与问题有关吗？”除了评估事实性和相关性的指标外，我们还整合了 Opik 的*moderation*和*usefulness*指标：前者检查是否有害或不适当的内容，后者结合各种标准获得一个总体分数。

#### 生成指标。

生成指标评估生成器相对于检索片段内容的行为。这些指标的主要目的是研究某些生成器行为，而不是严格意义上的性能；然而，人们可能希望使用它们来近似整体标准。例如，DeepEval 的*faithfulness*指标旨在衡量回答对检索片段的忠实度，可用于近似精确率标准。因此，我们将一些生成指标纳入研究，这些指标将被评估为整体指标（这四个指标名为*hallucination*或*faithfulness*，见图1 (https://arxiv.org/html/2607.07302#S4.F1)）。

## 3 指标评估：方法

我们试图评估前一部分提到的指标在多大程度上能够很好地近似给定的评估标准。我们选择定义一个同时衡量事实性和相关性方面的整体标准。该标准在1到5的尺度上评估，并由表2 (https://arxiv.org/html/2607.07302#S3.T2) 中的规则定义。

表 2：用于人类评估 RAG 系统回答的规则表。然后，两位评估者（公司员工，具有自然语言处理和生成模型方面的专业知识，其中一位参与了数据集创建期间的标注阶段）应用此规则表，对 RAG 系统在问題数据集的96个实例上的每个输出进行评分。我们计算两个评分序列之间的皮尔逊相关系数666我们计算皮尔逊相关系数而不是科恩或弗莱斯 kappa，因为这些在标注本质上是序数的情况下不太适用，正如这里的情况。得到0.85。为了简化后续分析，我们基于每个回答获得的平均分数。这样得到的分数被称为*参考分数*。

然后，我们进行旨在评估指标的相关性分析。下一节报告并分析：

- • 整体指标与参考分数之间的相关性；
- • 检索指标与召回率的相关性：尽管召回率本身是一个不完美的指标，但预期检索指标与召回率的相关性越强，表明其可靠性越高；
- • 检索指标与参考分数之间的相关性：实际上，由于更好的检索与更好的回答相关，检索指标也应该与我们的规则表分数相关。

所有报告的相关性对应皮尔逊系数（使用斯皮尔曼相关进行分析得到的结果与报告的结果相似）。

## 4 结果

\-1.00\-0.75\-0.50\-0.250.000.250.500.751.00DeepEvalRagasOpikRAGCheckerbleurougeLsummeteorbertscore\-f1hallucinationanswer relevancyfaithfulnessfaithfulnessfactual correctness:f1factual correctness:recallfactual correctness:accuracyhallucinationmoderationanswer relevanceusefulnesscontext precisioncontext recallf1recallprecision图 1：整体指标与平均人类评分的皮尔逊相关性。图1 (https://arxiv.org/html/2607.07302#S4.F1) 总结了整体指标的相关性。我们首先注意到置信区间宽度相当大，这是由于样本量较小（96个）。然而，可以看出一些趋势。

首先，我们注意到像 METEOR 这样有时被认为过时的指标与参考分数的相关性出奇地好。接下来，我们观察到生成指