TabRank：面向表格重排序器的思维链蒸馏

# TabRank：表格重排序器的思维链蒸馏技术  
来源：https://arxiv.org/html/2607.25182  

\*\{\}^\{\\textbf\{\*\}\}Adarsh Singh¹\*\{\}^\{\\textbf\{\*\}\}Kushal Raj Bhandari² Jianxi Gao² Soham Dan³ Vivek Gupta¹  
¹亚利桑那州立大学 ²伦斯勒理工学院 ³Scale AI  
[email protected] [email protected]  

###### 摘要  

检索相关表格以回答问题的能力是结构化信息检索中的关键任务。多阶段检索系统严重依赖重排序器来优化由高效的第一阶段检索器产生的候选列表。因此，神经重排序器和基于大语言模型（LLM）的重排序方法因其比传统稀疏或密集检索模型更强的语义理解和推理能力而变得越来越重要。最近，具备显式思维链（CoT）推理能力的大型推理模型（LRM）在非结构化段落检索的重排序质量上展现了显著提升。  

在本文中，我们提出了 **TabRank**，一个用于训练表格检索推理重排序器的框架。我们首先在 Natural Questions Tables 数据集上构建了一个包含 6728 条表格重排序推理轨迹的全面数据集。接着，我们探索了在该推理轨迹上训练紧凑推理模型的两种变体：显式 CoT 蒸馏，以及将教师模型的推理轨迹作为提示条件输入到学生重排序器中。我们在多样化的领域和多表场景下，对 **TabRank** 进行了多个跨分布泛化设置的严格测试。与基础模型相比，我们的方法显著提升了多个表格检索数据集的性能：在 HybridQA 上，Acc@10 提高了 30.5%；在 SQA 上提高了 15.2%；在 TabFact 上提高了 52.9%；在多表问答基准测试的 TATQA 子集上提高了 13.1%。值得注意的是，**TabRank** 能有效泛化到多表推理场景。我们的代码、数据和模型可在 github.com/AdarshSingh7647/TabRanker 获取。  

††footnotetext:\*这些作者对本文贡献相同。  

## 1 引言  

参见说明  
图 1：教师蒸馏以及 CoTCond、CoTGen 和 Naive SFT 训练与推理流程，用于表格重排序。DeepSeek-R1 根据训练提示生成教师思维链和排序标签，这些标签指导 CoTCond、CoTGen 和 Naive SFT 学生模型的训练。其中，带有“参见说明”图标的组件表示排除在损失计算之外，而带有“参见说明”图标的组件表示用于损失计算。  

多阶段检索已成为结构化数据开放域问答的主流架构：轻量级第一阶段检索器使用基于嵌入的方法生成一个粗粒度候选集，然后由重排序器进行优化，最后将结果传递给阅读器或生成器以完成下游任务。由于重排序器位于检索与推理之间的关键瓶颈位置，其有效性直接决定了端到端系统的性能。然而，表格检索面临的挑战与非结构化段落检索有着本质不同。表格的语义不仅体现在表面词汇内容上，还体现在结构属性中，如列模式、行对齐以及单元格间关系。因此，重排序模型需要捕获关系性和组合性信号，这对于有效的表格检索至关重要，但在现有重排序文献中受到的关注相对有限。  

更广泛的重排序研究则几乎完全聚焦于段落检索，推动了神经重排序研究一波波浪潮，涵盖了点式、成对式和列表式范式，从交叉编码器架构（如 MonoT5 (Nogueira 等人，2020) 和 RankT5 (Zhuang 等人，2023)），到指令调优的生成式重排序器（如 RankGPT (Sun 等人，2023) 和 RankZephyr (Pradeep 等人，2023b)），以及利用难负样本学习细粒度相关性区分的对比学习方法。  

一个重大转变源于大型推理模型（LRM）的出现。诸如 OpenAI 的 o1 (Jaech 等人，2024) 和 DeepSeek-R1 (Guo 等人，2025) 等系统表明，通过强化学习训练、在生成答案前先生成扩展思维链（CoT）推理的模型，在复杂多步骤任务上表现显著更优。信息检索社区迅速采用了这一范式。Rank1 (Weller 等人，2025) 表明，基于 LRM 生成的排序理由进行微调能取得强大的重排序性能，并具有显著的跨分布泛化优势；后续方法如 ReasonRank (Liu 等人，2025) 和 Rank-R1 (Zhuang 等人，2025) 进一步通过强化学习目标和理由引导的监督整合了推理能力。  

然而，这一研究方向暴露了一个关于如何将推理融入重排序模型的基本矛盾。主流范式（我们称之为 CoTGen 蒸馏）训练学生模型将教师的完整推理轨迹作为监督目标自回归地生成，同时输出最终预测。尽管在领域内有效，但近期研究表明这种方法可能鼓励模型过度拟合数据集特定的推理路径。Lu 等人 (2025) 证明此类模型在跨领域迁移中表现下降，而 Jedidi 等人 (2025) 则表明基于推理的重排序器容易产生过于极化的相关性估计，对部分相关性校准产生负面影响。这些风险对于表格检索尤为突出，因为对结构属性的推理与段落级推理存在本质差异，并且领域转移（包括表格布局、模式和问题类型）是常态而非例外。  

在本工作中，我们通过引入 **TabRank** 来解决这些局限性。**TabRank** 是一种用于结构化表格检索的重排序模型，在跨分布表格设置（包括多表检索和金融领域数据集如 TAT-QA）的泛化能力上，显著优于标准有监督微调和 CoTGen 蒸馏方法。**TabRank** 采用条件推理蒸馏框架进行列表式表格重排序：它不监督模型逐词生成教师的推理轨迹，而是直接将 DeepSeek-R1 生成的推理词元添加到输入提示中，让重排序器基于该推理上下文进行条件推理，同时仅对最终排序输出计算损失。这种策略鼓励模型利用中间推理信号，而无需显式模仿教师的推理路径，从而将结构化推理的好处与推理轨迹生成相关的过拟合风险分离开来。  

我们使用单表监督训练 **TabRank**，并评估其在四个不同的表格推理基准上的泛化能力，包括跨分布设置和多表检索任务。我们的贡献总结如下：  

- • 我们表明，**TabRank** 的条件 CoT 蒸馏（将教师推理视为上下文输入，而非自回归生成目标）在跨分布设置中，相较于基础模型，在 Multi-Table QA Benchmark 的 HybridQA 子集上 Acc@10 提升了 30.5%，在 SQA 上提升了 15.2%，在 TaTQA 上提升了 13.1%，在 TabFact 上提升了 52.9%。  
- • 我们证明，尽管 **TabRank** 仅使用单表监督进行训练，但它能自然地泛化到多表检索场景，而无需修改架构。  
- • 我们发布了一个综合数据集，包括用于微调的蒸馏 DeepSeek-R1 推理轨迹和监督信号，以支持可重复性和未来关于推理感知型表格检索的研究。  

## 2 相关工作  

神经重排序经历了交叉编码器的发展，这些编码器联合编码查询-段落对以进行相关性评分。MonoT5 (Nogueira 等人，2020) 将重排序视为序列到序列的生成任务，而 RankT5 (Zhuang 等人，2023) 通过直接的排序损失优化增强了这一方法。大语言模型的出现引入了列表式重排序：RankGPT (Sun 等人，2023) 表明，提示 LLM 输出段落排列在零样本设置中具有惊人的竞争力，而开源模型如 RankVicuna (Pradeep 等人，2023a) 和 RankZephyr (Pradeep 等人，2023b) 则以较低的成本蒸馏了这种能力。FIRST (Reddy 等人，2024) 进一步通过从生成的第一个词元进行评分来降低推理开销。  

最近将思维链（CoT）推理整合到重排序中标志着这一轨迹的质变。ReasonIR (Shao 等人，2025) 在检索阶段引入了推理，ReasonRank (Liu 等人，2025) 结合了理由监督与基于强化学习的排序奖励，而 Rank-R1 (Zhuang 等人，2025) 通过答案感知的强化学习端到端优化重排序，减少了对有监督推理轨迹的依赖。  

尽管有这一势头，主流 CoT 蒸馏范式的一个关键局限性已浮出水面。Lu 等人 (2025) 表明，训练模型再现教师推理轨迹能提升领域内性能，但会降低跨领域泛化能力；而 Jedidi 等人 (2025) 表明，推理时的推理会产生过于极化的相关性分数，损害部分相关性估计。**TabRank** 解决了这两种失败模式：我们率先将推理增强的重排序引入结构化表格数据，并提出了条件推理蒸馏作为原则性替代方案，它在保留结构化推理优势的同时，避免了轨迹模仿带来的泛化成本。  

## 3 问题设定  

给定一个自然语言查询 \(q\) 和一个由第一阶段检索器返回的 \(k\) 个候选表集合 \(\mathbf{T} = \{t_1, t_2, \dots, t_k\}\)，列表式表格重排序的目标是学习一个重排序器 \(f_\theta(q, \mathbf{T})\)，它输出一个排序顺序 \(\hat{\sigma} = (\hat{t}_1, \hat{t}_2, \dots, \hat{t}_k)\)，使得相关表格被排在更高位置。每个候选表 \(t_i\) 都有一个二元相关性标签 \(y_i \in \{0, 1\}\)，其中 \(y_i = 1\) 表示该表包含回答查询 \(q\) 所需的信息。对于单表检索设置，每个查询恰好关联一个相关表。令 \(g\) 表示黄金表的索引。则 \(y_g = 1, \quad \sum_{i=1}^{k} y_i = 1.\) 相反，对于多表检索，多个候选表可能共同有助于回答查询。重排序器的目标是最大化候选列表中相关表格的排序质量。我们使用 Recall@K、nDCG@K 和 Accuracy@K 来评估重排序性能。有关这些指标的详细信息，请参见附录 A。  

## 4 数据生成  

### 4.1 训练数据采样  

我们使用 NQ-Tables 数据集 (Herzig 等人，2021)，并从其训练拆分中构建训练样本，该拆分包含 9574 个查询。由于我们的训练设置仅关注单表检索，每个训练查询恰好有一个相关表。对于每个查询，我们通过融合三个检索管道的输出（使用倒数排名融合 RRF）来构建候选表排序列表：词汇匹配算法 BM25、稀疏嵌入模型 SPLADE-V3 (Lassance 等人，2024) 和密集嵌入模型 all-mpnet-base-v2 (Song 等人，2020)。每个训练样本包含 10 到 20 个表，具体数量均匀采样。我们只保留黄金表出现在检索候选集中的样本。对于每个查询-候选对，我们构建一个由查询和排序后的候选表列表组成的指令式提示。生成的提示随后被传递给教师推理模型，用于合成推理生成。  

### 4.2 数据生成  

我们使用 DeepSeek-R1 生成合成推理轨迹，利用其显式推理能力在生成最终排序输出前产生中间排序理由。教师模型收到包含查询和候选表的提示，并被指示在专用的 `<think>` 块中进行推理，然后产生最终排序。我们的提示如图 4 所示。与早期依赖于成对或点式推理的重排序公式不同，我们的提示结构自然扩展到单表和多表检索设置，无需架构修改。这种统一的公式使得模型能够泛化到多表检索，尽管它只接受单表监督训练。  

我们使用温度 0.7、最大生成长度 8192 个词元来生成训练数据。我们有意允许较长的生成长度，以促使模型在产生最终排序输出前进行更深入的推理。生成后，我们应用几个过滤步骤：移除候选表少于 9 个的样本、总词元超过 25000 的样本、不完整的生成、以及格式错误的排序或重复预测。最终过滤后的数据集包含 6728 个查询，平均每个查询有 20.06 个候选表和 2304 个推理词元。  

## 5 推理蒸馏策略  

我们使用生成的推理数据，在三种不同的训练范式下对基础模型进行微调。  

#### 朴素 SFT (Naive SFT)。  
第一个基线，称为朴素蒸馏 (Naive SFT)，仅使用教师模型生成的最终排序输出来训练基础模型。推理轨迹被完全移除，模型仅优化以预测最终排序序列。形式上，给定输入 \((q, \mathbf{T})\) 和目标排序 \(\hat{\sigma}\)，训练目标最小化关于排序词元的自回归损失：  

\[
\mathcal{L}_{\text{rank}} = -\sum_{t=1}^{n} \log p_\theta(\hat{\sigma}_t \mid q, \mathbf{T}, \hat{\sigma}_{<t})
\]  

#### CoT 生成蒸馏 (CoTGen)。  
第二个基线，CoT 生成蒸馏 (CoTGen)，遵循标准的知识蒸馏框架，其中推理轨迹和排序输出都被视为监督目标，损失在推理和排序词元上联合计算：  

\[
\mathcal{L}_{\text{CoTGen}} = \mathcal{L}_{\text{reason}} + \mathcal{L}_{\text{rank}}
\]  

#### 条件推理蒸馏 (Conditional Reasoning Distillation)。  
我们提出 **CoTCond**，一种用于重排序的条件推理蒸馏框架。它不是训练模型生成推理轨迹，而是直接将教师生成的思考词元预先添加到输入提示中，并在训练期间让模型基于该推理上下文进行条件化。形式上，这类似于……