面向LongEval-RAG的候选约束检索增强生成：系统设计与实证分析

# LongEval-RAG 在 CLEF 2026
来源: https://arxiv.org/html/2607.04008
\\copyrightclause

本文版权归作者所有。根据知识共享署名 4.0 国际许可协议（CC BY 4.0）允许使用。

\\conference

CLEF 2026 工作笔记，2026 年 9 月 21–24 日，德国耶拿

\[orcid=0009-0007-5546-5293, [email protected], url=https://github.com/yyd859/, \]\\fnmark\[1\]\\cormark\[1\]

\[orcid=0009-0007-0311-6235, [email protected], url=https://wijowill.github.io/, \]\\fnmark\[1\]

\\cortext

\[1\]通讯作者。\\fntext\[1\]这些作者贡献相同，并共享第一作者身份。

（2026 年）

###### 摘要

我们为 LongEval-RAG 提出了一种候选约束的检索增强生成系统，其中每个查询都与一个由组织者提供的候选集相关联，所有检索到的证据和最终引用都必须局限于该候选集内。该系统结合了确定性溯源追踪与基于段落的检索、确定性查询扩展、伪相关反馈（PRF）、互惠排名融合（RRF）、轻量级证据重排、引文感知的证据聚合，以及可选的 MiniLM 句子重排。我们使用主要组织者评估和补充性的自生成诊断协议对十种流水线变体进行了评估。主要评估表明，最强平衡变体是 `rule-minilm`：一种基于规则的文本分块流水线，结合了查询扩展、PRF、RRF、重排、引文先验和后期 MiniLM 句子选择。该变体在我们的提交中获得了最高的 BERTScore、检索精确率、信息片覆盖度和平均等级。这一结果表明，主要的性能提升并非来自更复杂的语义或主题转换分块，而是来自将稳定的基于规则的段落与生成前的句子级神经选择相结合。补充性的 LLM 评估对于早期诊断和额外分析仍然有用，但它强调的系统与基于主要金标准和信息片的评估不同，凸显了对多指标 RAG 评估的需求。

###### 关键词:

检索增强生成\\sepLongEval-RAG\\sep证据排名\\sep引文基础生成

## 1 引言

LongEval-RAG 研究从组织者提供的候选集而非无限制的语料库搜索中进行答案生成 [longeval2026task4, lncs_overview_longeval_2026, ceur_overview_longeval_2026]。这种设置与开放域 RAG 不同，后者通常针对大型外部语料库（如维基百科）进行检索 [lewis2020rag, gao2023rag_survey]。相反，每个查询都会有一个官方的候选文档 ID 列表，并且每个检索到的段落、选定的证据项以及最终引用都必须属于该列表。在我们的系统中，主要的检索时选择单元是段落：流水线对来自候选文档的段落进行排名和选择，然后从这些段落中选择句子级的证据用于答案生成，而最终的参考文献列表则来自所选证据的源文档 ID。

这种约束使得该任务特别适合分析 RAG 系统的内部质量。由于广泛的语料库召回已从问题定义中移除，性能更直接地取决于系统如何将文档结构化为段落、对证据进行排名、分配答案空间以及保持从最终声明到源文档的溯源。

本文做出了三项主要贡献。首先，我们描述了一个完整的候选约束 RAG 流水线，用于 LongEval-RAG，涵盖数据准备、段落构建、检索、证据选择、答案生成和确定性溯源追踪。其次，我们报告了在主要多指标组织者评估下，十种流水线变体的消融研究，同时保留了一个补充性的跨提供商 LLM 评估协议作为诊断视角。第三，我们确定了主要评估中的最强配置：`rule-minilm`，它将基于确定性的规则分块与后期 MiniLM 句子重排相结合，在我们的提交中实现了语义答案相似度、检索精确率、信息片覆盖度和平均信息片等级的最佳平衡。

主要评估指向了一个明确的实证信息。查询扩展、PRF 和 RRF 仍然重要，因为它们扩展了固定候选池内的词汇证据召回，遵循 Query2doc 风格扩展 [wang2023query2doc]、相关模型思想 [lavrenko2001relevance] 和互惠排名融合 [cormack2009rrf]。主要评估中的最强配置 `rule-minilm` 在此基础上通过保持稳定的基于规则的段落并仅在后期句子选择阶段应用 MiniLM 来构建。这表明，在当前设置下，神经匹配最适合用于分配最终证据预算，而不是用于重新定义上游的分块边界（使用语义或主题转换启发式方法）。补充性的 LLM 评估将最高平均分分配给 `rrf_no_rerank`，但我们将这种差异视为诊断性评估不一致，而非主要的实证结论。

## 2 任务设置与数据准备

### 2.1 查询与文档输入

查询输入以 JSONL 格式存储，每行一个查询。每条记录包含一个查询标识符、查询文本以及该查询的官方候选文档 ID。实现还支持多种字段别名以增强鲁棒性，例如从 `narrative_id`、`query_id`、`qid` 或 `id` 等字段映射标识符，以及从 `narrative`、`query`、`text` 或 `question` 等字段映射查询文本。

当前评估切片包含 47 个查询。每个查询恰好与 10 个官方候选文档配对，总共产生 470 个查询-文档实例。因此，该切片的候选数量是固定的，而不是随查询变化。

文档输入从 JSONL、JSON、CSV、TSV 或包含这些格式的目录加载。每条文档记录应包含一个文档 ID、标题和一个可用的文本字段（最好是 `fullText`），以及一个可选的出版时间戳。加载器同样支持文档 ID 的多个字段别名。

### 2.2 候选约束连接逻辑

整个流水线在设计上是候选约束的。加载过程首先读取所有查询记录，提取与每个查询关联的候选 `doc_ids`，收集所需文档 ID 的并集，然后仅从文档集合中加载这些文档。之后，流水线按照候选列表指定的顺序将文档重新附加到每个查询。

这种设计具有重要的方法论意义：系统永远不会在官方候选集之外进行检索。所有后续阶段，包括段落构建、检索、重排、答案生成和评估，都只在提供的候选池上操作。

### 2.3 文本选择与溯源追踪

对于文本组成，加载器遵循一个简单的优先级规则：

`fullText` → `abstract` → `title`。

只要有全文可用，就将其作为主要证据来源。如果全文缺失，系统会退回到摘要，必要时再退回到标题。这种回退是一个关于数据可用性的工程决策，而非偏好的科学选择。

表 1 (https://arxiv.org/html/2607.04008#S2.T1) 报告了当前 47 个查询切片的文本可用性。在 470 个查询-文档实例中，222 个实例使用了全文，248 个实例使用了仅摘要回退，没有实例需要仅标题回退。该切片中没有因文本缺失而丢弃的候选文档。

表 1: 当前评估切片中的文本可用性。百分比基于 470 个查询-文档实例计算。
| 使用的文本源 | 计数 | 百分比 |
| :--- | :--- | :--- |
| 全文 | 222 | 47.2% |
| 仅摘要 | 248 | 52.8% |
| 仅标题 | 0 | 0.0% |

时间戳会作为文档元数据加载并保留。在本文报告的检索配置中，当查询具有时间意图时，它们还可以作为检索侧的主动信号。具体来说，证据重排器包含一个可配置的时间提升，证据选择可以鼓励为具有时间表述的查询覆盖早期和后期文档，而抽取式生成器可以从时间戳派生的年份构建时间比较句子。然而，对于 `openai_batch_gpt54_top10` 评估输入，时间戳不会直接暴露在最终的批量 LLM 提示中。

一个核心实现特性是确定性溯源追踪。在检索和证据选择之后，系统将所选段落的源文档 ID 转换为有序的引用文档列表，存储在输出字段 `references` 中。最终答案句子不会直接引用原始文档 ID。相反，每个句子将引用索引存储到该 `references` 列表中。因此，重建路径为：

引用索引 → `references[index]` → 文档 ID。

对于批量生成，流水线添加了一个 `evidence_id` 层，以便异步模型输出仍然可以映射回句子候选、引用索引，最终回到源文档。这一工程选择使得最终 JSONL 输出中的每个引用句子都可通过其支持文档进行追踪，与最近引文基础生成设置的精神一致 [gao2023alce]。

### 2.4 文本与评估单元的术语

我们在本文中一致使用五个术语。它们不可互换：文档定义候选集，分块描述分段，段落是检索单元，`references` 记录引用文档 ID，信息片是评估单元。

表 2: 用于检索、溯源和评估的核心术语。
| 术语 | 定义 | 在本文中的作用 |
| :--- | :--- | :--- |
| 文档 | 为查询 \(q\) 由组织者提供的一个候选文档 ID，记为 \(d \in \mathcal{D}_q\) | 定义固定的候选集；每个检索到的段落、提示项和最终引用都必须能追溯到这些文档之一。 |
| 分块 | 通过基于规则的、语义的或主题转换的分割产生的连续句子组 | 描述文档在索引前如何拆分；分块策略是主要的消融维度之一。 |
| 段落 | 从分块发出的索引检索单元，包含文本、源文档 ID、标题、时间戳元数据和句子偏移量 | 由 BM25、RRF、重排和段落级选择进行评分，用于提示构建前。 |
| 参考文献 | 来自所选段落的源文档 ID 的有序、去重列表 | 输出字段，由引用索引使用；有别于引用论文的参考书目。 |
| 信息片 | 正确答案中预期的信息最小单元 | 由组织者指标使用的评估单元，如信息片覆盖度和平均等级。 |

## 3 系统流水线

### 3.1 概览与符号

对于查询 \(q\)，令 \(\mathcal{D}_q = \{d_1, \dots, d_{10}\}\) 表示组织者提供的候选文档集。流水线首先将这些文档规范化为段落，然后仅在

\[
\mathcal{P}_q = \bigcup_{d \in \mathcal{D}_q} \operatorname{chunk}(d),
\]

上执行检索，其中每个段落 \(p \in \mathcal{P}_q\) 存储其文本、源文档 \(d(p)\)、标题、可用时间戳以及句子偏移量。因此，候选约束在排序前即得到执行：\(\mathcal{D}_q\) 外的段落无法进入检索、重排、证据选择或最终提示。

表 3 (https://arxiv.org/html/2607.04008#S3.T3) 总结了所报告配置使用的具体常量。这些是当前流水线中暴露的实验级参数。BM25 用作词汇排序器，但下游 RRF 消耗的是排名而非原始 BM25 分数，因此在消融分析中，BM25 分数不会被当作跨组件权重处理。

表 3: 所报告系统流水线的主要实现参数。
| 阶段 | 参数 | 数值/行为 |
| :--- | :--- | :--- |
| 规则分块 | passage_max_words | 140 单词 |
|   | passage_stride_sentences | 1 句子重叠 |
| 语义分块 | 嵌入模型 | all-MiniLM-L6-v2 |
|   | semantic_merge_threshold | 0.72 余弦相似度 |
| 主题转换分块 | topic_shift_boundary_threshold | 0.18 相邻句子漂移 |
| 语义/主题分块 | 拆分前最小句子数 | 1 句子 |
|   | 最大句子数 | 未设置；仅适用单词预算 |
| 词汇检索 | BM25 基线 | 原始查询段落排序 |
|   | BM25 参数 | k1=1.5, b=0.75；未调整 |
| 查询扩展 | 提取的查询关键词 | 最多 12 个唯一的非停用词 token |
|   | query_variant_limit | 包括原始查询在内的 5 个变体 |
| PRF | prf_top_passages | 原始查询 BM25 的前 4 个段落 |
|   | 反馈词 | 最多 6 个原始频率词 |
| 融合 | RRF 常数 | k=60 |
| 重排 | preselect_k | 24 个段落 |
| 证据选择 | top_k_passages | 20 个段落 |
|   | per_doc_limit | 未设置；无硬性的每文档上限 |
| 引文先验 | citation_graph_boost | 0.05 加性权重 |
| 提示构建 | 每段落的候选句子 | 最多前 5 个句子 |
|   | max_selected_answer_candidates | 10 个句子级证据项 |
| 句子重排 | 交叉编码器模型 | cross-encoder/ms-marco-MiniLM-L-6-v2 |
| 答案生成 | max_answer_sentences | 5 个答案句子 |

### 3.2 段落构建

默认的分块器是一种确定性的重叠句子窗口程序。令一个文档表示为句子序列 \((s_1, \dots, s_n)\)，并令 \(w(C)\) 为候选分块 \(C\) 的单词数。基于规则的分块器从左到右扫描，贪婪地追加下一个句子，只要：
\[
w(C \cup \{s_i\}) \leq 140.
\]
当下一个句子会超出限制时，当前分块作为段落发出。下一个分块初始化为前一个分块的最后一个句子，从而产生一个句子的重叠。140 词的数值在报告的所有基于规则的、语义的和主题转换变体中用作共享的上界，但本文未进行调整。因此，我们将段落长度视为未来工作的一个超参数，届时应结合所得到的分块长度分布和下游检索质量进行评估。

语义分块变体用基于嵌入的合并替换了固定的句子窗口。每个句子 \(s_i\) 使用 all-MiniLM-L6-v2 进行嵌入。对于当前分块 \(C\)，分块嵌入是其句子嵌入的均值：
\[
\bar{e}(C) = \frac{1}{|C|} \sum_{s_i \in C} e(s_i).
\]
候选句子 \(s_j\) 仅在同时满足以下两个约束时才会被合并到 \(C\) 中：
\[
\cos\bigl(e(s_j), \bar{e}(C)\bigr) \geq 0.72 \quad \text{且} \quad w(C \cup \{s_j\}) \leq 140.
\]
否则，\(C\) 被发出，并从 \(s_j\) 开始一个新的分块。基于相似度拆分的句子的最小数量为 1，并且在报告的语义运行中没有活跃的额外最大句子数上限。

主题转换变体使用相同的句子嵌入，但检测相邻句子之间的局部漂移。对于 \(i > 1\)，定义：
\[
\Delta_i = 1 - \cos\bigl(e(s_{i-1}), e(s_i)\bigr).
\]
当当前分块已至少包含一个句子且 \(\Delta_i > 0.18\)，或者添加 \(s_i\) 会超过 140 词限制时，一个将新分块在 \(s_i\) 前开始。这给出了一种与 TextTiling 风格分割 [hearst1997texttiling] 相关的轻量级主题边界启发式方法，同时保留了与基于规则分块器相同的大小预算。

### 3.3 词汇排序与查询变体

单查询基线排名