Caraman 在 SemEval-2026 任务 8 中的表现：采用查询重写、混合检索和交叉编码器重排的多轮检索三阶段方法

# 基于查询重写、混合搜索和交叉编码器重排序的三阶段多轮检索
来源: https://arxiv.org/html/2605.12028
David\-Maximilian Caraman Babeş\-Bolyai University Cluj\-Napoca, 罗马尼亚 david\.caraman@stud\.ubbcluj\.ro&Gheorghe Cosmin Silaghi Babeş\-Bolyai University Cluj\-Napoca, 罗马尼亚 gheorghe\.silaghi@ubbcluj\.ro

###### 摘要

我们描述了针对 SemEval\-2026 Task 8 \(MTRAGEval\) 的系统，参与了 Task A \(检索\) 在四个英语领域的竞赛。我们的方法采用了一个三阶段流水线：\(1\) 通过经过 LoRA 微调的 Qwen 2\.5 7B 模型进行查询重写，将依赖上下文的后续问题转换为独立查询；\(2\) 结合 BM25 和稠密检索的混合检索，通过倒数排名融合 \(RRF\) 进行合并；\(3\) 使用 BGE\-reranker\-v2\-m3 进行交叉编码器重排序。在官方测试集上，该系统取得了 0\.531 的 nDCG@5 分数，在 38 个参赛系统中排名第 8，比组织者基线高出 10\.7%。开发集对比研究显示，针对查询生成进行领域特定的温度调优——其中技术领域受益于确定性解码，而通用领域受益于可控的随机性——带来了稳定的提升，而更复杂的策略如领域感知提示和多查询扩展则降低了性能。

Caraman 参加 SemEval\-2026 Task 8：基于查询重写、混合搜索和交叉编码器重排序的三阶段多轮检索

David\-Maximilian Caraman
Babeş\-Bolyai University
Cluj\-Napoca, 罗马尼亚
david\.caraman@stud\.ubbcluj\.ro

Gheorghe Cosmin Silaghi
Babeş\-Bolyai University
Cluj\-Napoca, 罗马尼亚
gheorghe\.silaghi@ubbcluj\.ro

## 1 引言

多轮对话检索为信息检索系统提出了一个根本性的挑战：用户通过代词 \(“这多少钱？”\)、省略和隐式的话题延续，提出依赖先前对话上下文的后续问题。一个仅处理最新用户话语的检索系统会丢失关键上下文，导致在后续对话轮次中出现严重的性能下降 \(Katsi et al., 2025\)。

SemEval\-2026 Task 8 \(Rosenthal et al., 2026b\) 为此问题提供了一个严格的基准，涵盖四个英语领域，包含来自 110 个多轮人类对话的 777 个检索查询。Task A 要求参与者生成与用户最终问题相关的段落，而评估仅在可回答问题的子集上进行。

我们通过一个三阶段流水线来解决这一挑战，其中每个组件针对不同的失败模式：\(i\) 查询重写解决对话依赖关系；\(ii\) 混合检索捕获词汇和语义匹配；\(iii\) 交叉编码器重排序通过细粒度的查询-段落交互优化最终排序。查询重写器是一个经过 LoRA 微调的 Qwen 2\.5 7B Instruct 模型 \(Yanget al., 2024\)，使用 MTRAGEval 的黄金重写数据在 Apple Silicon 上的 MLX 框架111https://github.com/ml-explore/mlx 上进行训练。

本文提出的开发对比研究揭示了一些具有启发意义的负面结果：与简单重写相比，领域感知提示和多查询扩展都*降低*了性能；在任务特定数据上微调交叉编码器重排序器仅带来微小的增益；用于重排序的更大候选池*降低*了质量，这是一个反直觉的发现，我们将对其进行详细分析。我们的代码222https://github.com/davidcaraman/semeval2026-mtrag-retrieval 和微调模型333https://huggingface.co/caraman/Qwen2.5-7B-mtrag-query-rewriter-final 已公开可用。

## 2 背景

### 2\.1 任务描述

MTRAGEval \(Rosenthal et al., 2026b\) 建立在 MTRAG\-UN 基准 \(Rosenthal et al., 2026a\) 之上，评估多轮对话设置中的检索增强生成。Task A \(检索\) 要求系统从特定领域的语料库中为每个查询返回一个包含 10 个段落的排序列表。这四个英语领域的语料库共包含 78,170 篇文档中的 366,479 个段落：ClapNQ \(维基百科, 183K 段落\)、Cloud \(IBM 技术文档, 72K\)、FiQA \(金融论坛讨论, 61K\) 和 Govt \(美国政府政策文件, 50K\)。每个语料库使用 512 个 token 的段落，重叠 100 个 token。主要评估指标是 nDCG@5 \(Järvelin and Kekäläinen, 2002\)，次要指标为 nDCG@10 和 Recall@10。

相关性判断源自人类标注。遵循 MTRAG\-UN 分类法 \(Rosenthal et al., 2026a\)，该基准包含大量无法回答和定义不清的查询；这些在测试集中未公开，并从评分中排除。

### 2\.2 相关工作

我们的系统基于三条研究路线构建。*对话查询重写*将依赖上下文的问题转换为适合传统检索器的独立查询 \(Vakulenko et al., 2021\)；我们通过为重写器的生成添加领域特定的温度控制来扩展这一方法。*混合检索*结合词汇匹配 \(BM25; Robertson and Zaragoza, 2009\) 和稠密语义搜索 \(Reimers and Gurevych, 2019\)，通过如倒数排名融合 \(RRF\) \(Cormack et al., 2009\) 等融合方法实现。*交叉编码器重排序* \(Nogueira and Cho, 2019\) 联合编码查询-段落对以进行细粒度的相关性评分，尽管延迟较高，但其性能始终优于双编码器方法。

## 3 系统概述

我们的流水线通过三个连续阶段处理每个对话查询。我们将描述每个阶段的设计、支持其设计的实验证据以及复制所需的关键超参数。

### 3\.1 第一阶段：查询重写

多轮查询通常包含未解决的引用，使得检索系统孤立地无法理解。例如，在关于 IBM Cloud 的对话中，用户问“这多少钱？”，代词“这”必须被解析，以生成独立查询“IBM Cloud 服务的定价是多少？”。

此阶段以基础 Qwen 2\.5 7B Instruct 模型为基础，使用 MTRAGEval 训练集中的黄金重写数据通过 LoRA 进行微调，并应用固定的提示模板 \(附录 A\)，该模板提供对话历史并指示模型生成独立查询。在推理时，每个查询都通过在对保留集上进行的系统性扫描确定的领域特定温度进行重写 \(第 5\.1 节\)，为每个领域语料库生成一个重写查询。

#### 模型与训练。

我们使用 LoRA \(Huet al., 2022\) 对 Qwen 2\.5 7B Instruct \(Yanget al., 2024\) 进行微调，参数见附录 B。这些超参数是通过在 LoRA dropout \(0\.05–0\.15\)、学习率 \(5×10^{-6}–1×10^{-5}\) 和适配层数 \(16–28\) 上的系统性实验选定的，最终配置基于保留验证损失选定。训练使用 MLX 框架在 Apple M4 Max \(128 GB 统一内存\) 上进行，使用 AdamW \(lr=10^{-5}, weight decay 0\.01\)，有效批量大小 16 \(微批量 2，梯度累积 8\)，并使用梯度检查点以提高内存效率。模型在 699 个源自 MTRAGEval 黄金重写的查询重写示例上训练 500 次迭代，保留 78 个示例用于验证。

#### 检查点选择。

图 1 显示了训练动态。验证损失在前 200 次迭代中迅速下降 \(3\.084→0\.376\)，然后在 0\.37–0\.42 左右趋于平稳。在第 350 次迭代后，训练损失急剧下降到约 0\.1，而验证损失波动，表明开始出现过拟合。我们选择第 500 次迭代的最终检查点 \(验证损失 0\.373\)，这与最佳验证损失 \(第 450 次迭代的 0\.372\) 相差不到 0\.001，证实模型已收敛，尽管训练损失很低，但没有显著过拟合。

*图 1：查询重写器的 LoRA 微调损失曲线。提示模板提供最多 10 轮的对话历史，随后是当前问题，指示模型解析代词、包含必要上下文并生成简洁、便于搜索的独立查询（完整提示见附录 A）。*

#### 领域特定温度。

由于最佳重写行为因领域而异，我们的系统使用领域特定的温度为每个领域生成单独的重写查询，为每个对话轮次生成四个查询，每个领域语料库一个。我们在开发保留集上进行了系统性温度扫描 \(0\.0–1\.0\) 以确定每个领域的最佳温度；完整结果和分析在第 5\.1 节中给出。

#### 首轮优化。

首轮查询没有对话历史，因此已经是独立的。我们在 19 个首轮保留查询上实证验证，跳过重写器产生相同的 nDCG@5 \(0\.381\)，同时将推理时间减少 29% \(每个领域 32 秒 vs\. 45 秒\)。

### 3\.2 第二阶段：混合检索

没有一种检索范式在所有领域都占主导地位：词汇匹配捕获对 Cloud 领域至关重要的精确技术术语，而语义相似性处理 ClapNQ 中常见的释义。我们通过分数级融合结合这两种方法。

#### BM25 \(词汇\)。

我们使用 BM25S \(Lù, 2024; Robertson and Zaragoza, 2009\)，去除英文停用词，不进行词干提取。省略词干提取可以保留精确的技术术语 \(如“Kubernetes”、“401\(k\)”\)，这些术语会被词干提取破坏。每个查询检索 50 个候选项。

#### 稠密 \(语义\)。

查询和段落使用 BGE\-base\-en\-v1\.5 \(Chen et al., 2024\) \(768 维度\) 编码，并在 FAISS IndexFlatIP 索引 \(Johnson et al., 2021\) 中搜索，使用 L2 归一化的嵌入 \(余弦相似度\)。每个查询检索 50 个候选项。

#### 倒数排名融合。

BM25 和稠密结果列表使用 RRF \(Cormack et al., 2009\) 合并：

$$
\text{score}_{\text{RRF}}(d) = \sum_{r \in \{B,D\}} \frac{1}{k + \text{rank}_r(d)} \quad (1)
$$

其中 $k=60$，$B$ 是 BM25 排名，$D$ 是稠密排名。RRF 不需要学习权重，并产生一个单一的融合候选列表。出现在两个列表中的文档从两个排名中获得贡献，自然地提升了具有跨模态一致性的段落。

### 3\.3 第三阶段：交叉编码器重排序

融合后的候选列表由 BGE\-reranker\-v2\-m3 \(Chen et al., 2024\) 重排序，这是一个 5.68 亿参数的交叉编码器，联合编码每个查询-段落对。表 1 比较了四个重排序器模型在 $k=50$ 个候选项下的表现。BGE\-reranker\-v2\-m3 \(nDCG@5 0\.416\) 明显优于 ms\-marco\-MiniLM\-L\-12\-v2 \(0\.375\) 和 BGE\-reranker\-base \(0\.307\)。我们还评估了 IBM Granite Reranker R2 \(Granite Team, IBM Research AI, 2025\)，其 nDCG@5 为 0\.391；我们选择 BGE\-v2\-m3 用于最终系统，因为它在所有候选池大小下都取得了最高分数 \(表 2\)。

*表 1：在 $k=50$ 个候选项下交叉编码器重排序器比较 \(nDCG@5，无查询重写\)。*

#### 候选池大小。

重排序候选项 \(k\) 涉及召回率和来自边缘段落的噪声之间的权衡。我们在 $k \in \{30,50,100,250,500\}$ 上的扫描 \(表 2\) 显示，所有模型从峰值退化到 $k=500$，但最佳 $k$ 因模型而异：四个重排序器中有三个在 $k=30$ 时达到峰值，但 BGE\-v2\-m3 在 $k=50$ 时达到最佳 nDCG@5 \(0\.416 vs\. 0\.411 at $k=30$\)，表明更强的交叉编码器可以在噪声占主导地位之前利用稍大的池。我们在最终系统中采用 $k=50$。

*表 2：候选池大小对重排序质量 \(nDCG@5\) 的影响。四个模型中有三个在 $k=30$ 时达到峰值，但选定模型 \(BGE\-v2\-m3\) 在 $k=50$ 时达到峰值。*

我们还评估了在任务特定的硬负例 \(排名 20–100 的段落\) 上微调 BGE\-reranker\-v2\-m3。增益微乎其微：nDCG@5 从 0\.396 提高到 0\.402 \(+1\.5%\)，而 Recall@10 实际上从 0\.544 下降到 0\.526。预训练模型已经很好地校准了这种混合领域分布。

## 4 实验设置

#### 数据。

我们将 MTRAGEval 训练集中的 110 个人类对话拆分为 88 个训练对话 \(613 个查询\) 和 22 个保留对话 \(164 个查询: ClapNQ 27, Cloud 47, Govt 62, FiQA 28\)。本文报告的所有开发结果均在保留集上。查询重写训练数据包括从黄金重写中提取的 699 个训练和 78 个验证示例。对于最终提交，由于不再需要保留集进行模型选择，查询重写器使用开发期间选定的相同超参数在所有 777 个示例 \(训练和保留结合\) 上重新训练。官方比赛结果在组织者发布的独立测试集上。

#### 指标。

我们报告 nDCG@5 \(Järvelin and Kekäläinen, 2002\) 作为主要指标 \(与官方评估匹配\)，nDCG@10 和 Recall@10 作为次要措施，使用 pytrec\_eval \(Van Gysel and de Rijke, 2018\) 计算。

#### 基础设施。

所有实验均在具有 128 GB 统一内存的 Apple M4 Max 上运行。LoRA 训练使用 MLX 框架；444mlxv0\.12+，mlx\-lmv0\.12+检索和重排序使用带有 MPS 加速的 PyTorch。555关键库：bm25sv0\.2+，sentence\-transformersv2\.2+，faiss\-cpuv1\.7\.4+，FlagEmbeddingv1\.2+，transformersv4\.36+。

## 5 结果与分析

### 5\.1 查询重写分析

为了确定每个领域的最佳生成温度，我们在 164 个查询的开发保留集上对七个温度值 \(0\.0, 0\.1, 0\.2, 0\.3, 0\.5, 0\.7, 1\.0\) 进行了端到端的系统性扫描。对于每个温度，我们运行完整的流水线 \(重写→混合检索→重排序\) 并测量 nDCG@5，确保所选温度优化最终检索质量，而不是中间代理。表 3 显示了结果。

*表 3：查询重写 \(nDCG@5\) 的温度扫描*

表 4 提供了在开发保留集上每个领域最佳温度下的完整每个领域细分。

*表 4：...*