5ting在SemEval-2026任务8中的表现：基于LLM重排序和忠实性控制的强大端到端多轮RAG

# 5ting 在 SemEval-2026 任务 8 中：通过基于 LLM 的重排序和忠实性控制实现强大的端到端多轮 RAG  
来源：https://arxiv.org/html/2606.28737  
Thien\-Qua T\. Nguyen1,2Chi Hoang1,2Nguyen Tran1,2 Tri Le1,2Khanh Truong1,2Chinh Trong Nguyen1,2 1越南胡志明市信息技术大学 2越南胡志明市越南国立大学胡志明市分校  
\{quantt\.20, chihqqc\.20, nguyenttb\.20, triln\.20, khanhtpb\.20\}@grad\.uit\.edu\.vn chinhnt@uit\.edu\.vn  

###### 摘要  

我们介绍了 5ting，这是我们为 SemEval-2026 任务 8 (MTRAGEval) 开发的系统，该任务评估多轮检索增强生成 (RAG) 系统。多轮 RAG 涉及上下文漂移、未明确指定和幻觉风险。我们的系统结合了 BGE-M3 稠密检索与 FAISS 索引、双查询合并检索以及基于 LLM 的重排序，随后采用角色分离的生成方式，并约束于检索到的证据。检索器在任务 A 中达到了 nDCG@5=0.4719，而端到端系统在任务 C 中以 0.5597 的调和分数和 RLF=0.7692 排名。  

5ting 在 SemEval-2026 任务 8 中：通过基于 LLM 的重排序和忠实性控制实现强大的端到端多轮 RAG  

Thien\-Qua T\. Nguyen1,2Chi Hoang1,2Nguyen Tran1,2Tri Le1,2Khanh Truong1,2Chinh Trong Nguyen1,21越南胡志明市信息技术大学2越南胡志明市越南国立大学胡志明市分校  
\{quantt\.20, chihqqc\.20, nguyenttb\.20, triln\.20, khanhtpb\.20\}@grad\.uit\.edu\.vnchinhnt@uit\.edu\.vn  

## 1 引言  

RAG 将 LLM 输出扎根于外部知识，以提高事实准确性 Gao et al. (2024 (https://arxiv.org/html/2606.28737#bib.bib2))。在多轮设置中，上下文依赖、未明确指定和对话漂移等挑战使得检索和生成都变得复杂 Owoicho et al. (2023 (https://arxiv.org/html/2606.28737#bib.bib7))。为了系统性地评估这些现象，Rosenthal et al. (2026a (https://arxiv.org/html/2606.28737#bib.bib9)) 引入了 MTRAG-UN，针对不可回答、未明确指定和非独立的问题，并表明即使是最先进的系统在多轮场景中也会遇到困难。  

SemEval-2026 任务 8 (MTRAGEval) Rosenthal et al. (2026b (https://arxiv.org/html/2606.28737#bib.bib10)) 在四个域（ClapNQ、FiQA、Cloud 和 Govt）上评估多轮 RAG。最终查询可能依赖于先前的对话上下文，并包含隐含或模糊的指代，从而增加了检索难度和生成过程中的幻觉风险。  

我们参与子任务 A（前 10 个段落检索）和子任务 C（基于前 5 个段落的扎实答案生成）。我们提出了 5ting，一个模块化的多轮 RAG 系统，结合了稠密检索、FAISS 索引、基于 LLM 的重排序和证据约束生成。我们并未提出新的检索器，而是专注于重排序和提示设计。  

我们的主要贡献如下：  

- • 我们设计了一种基于 LLM 的重排序机制，用于在多轮设置中优化稠密检索结果。  
- • 我们引入了一种面向忠实性的提示策略，将生成约束在检索到的证据上。  
- • 我们提供了实证分析，展示了检索与生成的协同作用。  

本文的其余部分组织如下：第 2 节讨论多轮 RAG 的挑战，第 3 节介绍系统架构，第 4 节描述实验设置，第 5 节报告结果和消融实验，第 6-8 节提供错误分析、局限性和结论。  

## 2 任务定义与挑战  

MTRAGEval 基准测试在四个域的 842 个多轮对话上评估检索和端到端 RAG。子任务 A 从包含 78,170 个文档的语料库中检索前 10 个段落，并使用 nDCG@5（主要指标）、nDCG@1,3,10 和 Recall@1,3,5,10 进行评估。子任务 C 要求基于前 5 个段落生成扎实的答案，并通过 RBalg（基于参考的算法相关性）、RLF（RAGAS 忠实性 LLM 评判器）和 RBllm（LLM 作为评判器的相关性）的调和均值进行评估。  

与单轮基准测试相比，多轮对话引入了额外的挑战。MTRAG-UN 明确列出了这些现象，从而激励了我们的系统设计。  

- • 上下文依赖：最终查询通常依赖于先前的轮次，并且可能未明确指定，需要跨轮解释。  
- • 检索-生成对齐：强大的检索不能保证忠实的生成；输出必须明确扎根于检索到的证据。  
- • 幻觉控制：模型可能引入不支持的信息，需要明确的约束机制。  
- • 非独立和不可回答的情况：MTRAG-UN Rosenthal et al. (2026a (https://arxiv.org/html/2606.28737#bib.bib9)) 强调了模棱两可或缺乏证据的查询，这给多轮 RAG 系统带来了挑战。  

多轮 RAG 需要一个紧密集成的流水线：检索必须在表面匹配与上下文理解之间取得平衡，而生成必须保持基于检索到的证据。先前的工作表明，查询重写和基于 LLM 的重排序可以改进对话检索 (Vakulenko et al. (2021 (https://arxiv.org/html/2606.28737#bib.bib12)); Sun et al. (2023 (https://arxiv.org/html/2606.28737#bib.bib11)); Ma et al. (2023 (https://arxiv.org/html/2606.28737#bib.bib6)))，而将生成基于检索到的证据可以减少幻觉并提高忠实性 Gao et al. (2024 (https://arxiv.org/html/2606.28737#bib.bib2))。  

我们通过三个组件来应对这些挑战：双查询合并检索、基于 LLM 的重排序和角色分离提示。它们共同提高了精度 Liu et al. (2024 (https://arxiv.org/html/2606.28737#bib.bib5))，并在多轮设置中强制执行忠实的生成。  

## 3 系统概述  

参考图注图1：所提出的多轮 RAG 流水线概览。我们的系统包含两个主要流水线：检索流水线（子任务 A）和生成流水线（子任务 C），其中后者消费前者的前 5 个输出。图1 (https://arxiv.org/html/2606.28737#S3.F1) 展示了我们方法的整体架构。  

### 3.1 查询重写  

在多轮对话中，最终查询通常未明确指定——包含未解决的共指、省略或对先前轮次的隐含依赖——使得直接检索不可靠。我们使用 GPT-4o-mini（温度设置为 0.3）将最后一轮的查询重写为自包含、上下文已解析的形式，方法是纳入完整的对话历史 (Vakulenko et al. (2021 (https://arxiv.org/html/2606.28737#bib.bib12)); Ma et al. (2023 (https://arxiv.org/html/2606.28737#bib.bib6)))。重写后的查询随后用于检索和重排序，确保下游组件在用户信息需求的清晰表示上运行。  

### 3.2 查询向量化、索引与检索  

查询向量化：我们使用 BAAI/bge-m3 Chen et al. (2024 (https://arxiv.org/html/2606.28737#bib.bib1)) 作为稠密编码器，生成 1024 维的 L2 归一化嵌入，支持最长 8192 个 token 的输入序列。最后一轮查询和重写后的查询分别独立编码。在多样化的监督数据上训练的大上下文稠密编码器提供了强大的域通用表示和稳健的跨域泛化能力 Wang et al. (2024 (https://arxiv.org/html/2606.28737#bib.bib13))。  

对于索引，我们采用 FAISS IndexFlatIP Johnson et al. (2019 (https://arxiv.org/html/2606.28737#bib.bib3))，它在归一化向量上执行内积搜索，等价于余弦相似度。我们为每个域构建一个索引，并存储文档标识符和相关的元数据以便高效查找。在查询时，我们使用相同的模型对查询进行编码，并按相似度排序检索前 k 个段落。  

检索：在推理时，最后一轮查询和重写后的查询分别独立搜索各自的域索引，每个都检索前 10 个段落。使用 FAISS 可以高效地进行相似度搜索，且计算开销极小。两个检索流并行运行以增加召回覆盖范围，在合并和基于 LLM 的重排序阶段之前提供多样化的候选集。  

### 3.3 双查询合并  

我们维护两个并行的检索流：一个使用最后一轮查询（表面词汇匹配），另一个使用重写后的查询（上下文语义匹配）。对于每个任务，我们执行两次独立的检索，每种查询类型各一次，每次返回前 10 个候选集。然后我们合并两个结果集。对于出现在两个集合中的段落，我们保留最高的相似度分数，合并后的集按分数降序排序，得到大约 10-20 个唯一的候选段落。  

这种双查询策略解决了多轮检索中的一个基本矛盾：最后一轮查询可能匹配包含用户提及的确切实体的段落，而重写后的查询可能检索到与更广泛的对话上下文语义相关的段落。两者的合并捕捉了各自的优势。  

### 3.4 基于 LLM 的重排序  

我们使用 GPT-4o-mini（温度设置为 0.3）应用列表式重排序步骤，以优化合并后候选集的排序。具体来说，我们采用列表式策略，从全局角度优化排序，使模型能够联合考虑所有候选段落，产生更连贯的整体顺序，尽管其计算成本高于集合式重排序。重排序器接收重写后的查询（捕捉对话上下文）和所有候选段落的文本，并输出 JSON 格式的排序。  

系统提示指示模型：“你是一名文档重排序器。给定一个问题和一个文档块集合，按相关性对它们进行排序。返回一个 JSON 对象，其中包含键 'order'，其值为一个按相关性从高到低排序的 ID 数组。”  

使用重写后的查询进行重排序的理由：重写后的查询是用户信息需求的自包含表示 Zhuang et al. (2024 (https://arxiv.org/html/2606.28737#bib.bib14)); Sun et al. (2023 (https://arxiv.org/html/2606.28737#bib.bib11))，使其更适合 LLM 重排序器，因为它无法访问对话历史，并且已被证明能够显著提高多步检索流水线中的排序精度 (Pradeep et al. (2023 (https://arxiv.org/html/2606.28737#bib.bib8)))。  

### 3.5 LLM、提示合成与答案生成  

该模块是 RAG 流水线中的核心推理接口。它将检索到的证据和对话上下文整合到一个结构化的提示中，然后传递给答案生成模型。提示设计明确区分了仅用于解析意图的对话上下文和作为唯一事实来源的检索段落。  

对于子任务 C，我们从子任务 A 的输出中提取前 5 个检索到的段落，并使用 GPT-4o-mini 生成答案。提示采用清晰的角色分离结构：  

- • 对话历史（除最后一轮外的所有轮次）：仅用于理解用户意图和解析指代；明确说明不是事实信息的来源。  
- • 检索到的段落：被指定为唯一的事实来源。  
- • 最后一轮问题：需要回答的具体问题。  

这种设计体现了 RAG 系统的原则：对话历史提供语用上下文（用户在谈论什么，已经讨论过什么等），而检索到的段落提供认知基础（答案的事实基础）。这种基于证据的提示形式已被证明可以减少幻觉并提高 RAG 系统中的事实准确性。  

## 4 实验设置  

### 4.1 数据  

MTRAGEval 基于 MTRAG 数据集 Katsis et al. (2025 (https://arxiv.org/html/2606.28737#bib.bib4))，包含跨四个域的 110 个对话（平均 7.7 轮），产生 842 个评估任务。MTRAG-UN Rosenthal et al. (2026a (https://arxiv.org/html/2606.28737#bib.bib9)) 在此基础上扩展到六个域的 666 个额外任务。语料库包含 78,170 个文档和 366,479 个段落（512 个 token，100 个 token 重叠）。检索使用三种查询变体（question、lastturn、rewrite），子任务 C 遵循完整的 RAG 设置，从前 5 个段落生成。  

### 4.2 评估指标  

所有实验均使用官方 SemEval-2026 任务 8 评估框架进行。检索性能通过 nDCG@5 以及 nDCG@1,3,10 和 Recall@1,3,5,10 在任务 A 中进行评估。任务 C 的端到端性能通过 RBalg、RLF 和 RBllm 的调和均值来衡量。  

我们遵循官方评估协议，并按照报告最终分数的要求排除未明确指定的示例。  

### 4.3 LLM 模型与配置  

我们使用公开可用的 GPT-4o-mini 模型，未进行任务特定的微调，用于查询重写、重排序和答案生成，仅配置生成的解码超参数：使用核采样 (top-p=0.9) 和低温度 (T=0.1) 以促进稳定且忠实的生成。top-p 约束将解码限制在高概率 token 上，而低温度则锐化分布以鼓励近乎确定性的输出。这种设置增强了一致性和事实基础，使其适用于检索增强生成，其中最小化幻觉至关重要。对于重排序，我们在整个合并候选集上使用列表式提示，不应用滑动窗口机制。  

## 5 结果与分析  

### 5.1 官方测试结果  

子任务 A：我们的 nDCG@5 达到了 ELSER 基线的 98.4%（差距 = 0.0076），如表1 (https://arxiv.org/html/2606.28737#S5.T1) 所示，尽管使用了通用稠密编码器而非基准创建时使用的任务特定学习稀疏检索器。在开发集到测试集上，nDCG@5 从 0.439 增加到 0.4719，且流水线设置未发生任何变化。我们将差异归因于数据集特定的域组成和查询难度变化，以及 nDCG@5 对排名靠前段落的敏感性。  

子任务 C：我们的系统超越了所有组织者基线 +4.3%，并达到了最高分的 95%（表5 (https://arxiv.org/html/2606.28737#S5.T5)），表明精心设计的提示可以超越更大的推理能力模型。较高的 RLF（0.7692）证实了由我们的约束指令带来的词汇忠实性。  

系统类型nDCG@5R@5BM25词汇0.220.25BGE-base 1.5稠密0.340.37我们的（无重排序器）稠密0.3730.37ELSER稀疏0.480.52我们的 + 重排序器稠密+LLM0.4390.44我们的（测试阶段）稠密+LLM0.4719–表1：开发集上的检索性能比较（查询重写，4域平均值）。基线值来自官方 MT RAG 基准。子任务 [email protected]@50.53270.42370.39190.5027表2：我们的系统在四个 MTRAG 域（开发集，重写 + 重排序）上的逐域检索性能。查询类型nDCG@5（基础）nDCG@5（+重排序器）Δ相对（%）question0.20660.2192+6.1lastturn0.34540.4029+16.6rewrite0.37320.4393+17.7表3：LLM 重排序效果的消融研究（开发集，4域平均值）。配置nDCG@1nDCG@5R@10BGE-M3 稠密0.25640.34540.4641+ 查询重写0.35900.37320.5312+ LLM 重排序0.45460.43930.5588表4：