STAIR（结构感知信息检索器）：一种新颖的基于数据集和LLM的检索器，用于文档结构增强

# STAIR（结构感知信息检索器）：一种基于LLM的新型数据集与检索器，用于文档结构增强
来源：https://arxiv.org/html/2609.03874
Vineet Kumar¹¹¹工作于IBM期间完成。现任职于亚马逊图书科学部。Meghanadh Pulivarthi Vishwajeet Kumar Jaydeep Sen所属机构¹：Riyaz Ahmad Bhat Sachindra Joshi所属机构¹：IBM所属机构²：[email protected] [email protected]所属机构²：[email protected] [email protected] [email protected]

###### 摘要

检索增强生成（RAG）是利用大语言模型（LLM）生成准确且无幻觉答案的关键组件。LLM在处理长上下文方面的能力正在提升，但仍存在“中间迷失”问题。因此，精确准确的检索至关重要。当前的检索器将长上下文分割为基于长度的可管理片段——这一过程丢弃了语料库中丰富且信息量巨大的全局语义结构。我们引入了一种新型检索系统STAIR，它赋能LLM利用语料库（如目录（ToC））的全局结构，从而高效地从其模型参数中存储和检索信息。我们针对一个经过微调的可微分搜索索引（DSI）系统进行了细致而全面的消融研究表明，ToC有助于构建幻觉率极低（低于0.05%）的生成式信息检索（IR）系统，并且能够推广到训练样本极少的示例中。为了进一步推动这一基于ToC检索的新型研究方向，我们发布了SearchTome——一个源自6个不同领域的18本书的多样化基准测试集。STAIR在SearchTome上实现了82.6%的高Recall@1分数，而DSI为76.9%，两者差异具有统计显著性。STAIR轻松超越了其他强力基线，如BM25（59.5%）、DPR（68.7%）和开箱即用的Mistral（13.8%）。训练STAIR所使用的基准数据和代码可在以下网址获取：https://anonymous.4open.science/r/s_331/README.md。

## 1引言

对检索增强生成（RAG）日益增长的兴趣，推动了高级信息检索（IR）系统的迅猛发展。大语言模型（LLM）现在能够处理大型上下文（Chen et al., 2023 (https://arxiv.org/html/2609.03874#bib.bib3); Liu et al., 2024a (https://arxiv.org/html/2609.03874#bib.bib2)），尽管它们仍受到“中间迷失”问题的困扰（Liu et al., 2024c (https://arxiv.org/html/2609.03874#bib.bib42); Bai et al., 2024a (https://arxiv.org/html/2609.03874#bib.bib7); Bai et al., 2024b (https://arxiv.org/html/2609.03874#bib.bib6); Li et al., 2024 (https://arxiv.org/html/2609.03874#bib.bib4)）。因此，精确检索信息（Pipitone and Alami, 2024 (https://arxiv.org/html/2609.03874#bib.bib5)）对于抑制幻觉（Laban et al., 2024 (https://arxiv.org/html/2609.03874#bib.bib43)）和生成准确响应至关重要。当前的检索器通过创建基于长度的片段（Setty et al., 2024 (https://arxiv.org/html/2609.03874#bib.bib44)）并丢弃语料库中丰富且信息量巨大的全局语义结构来解决这个问题。这导致了次优的检索质量——基于长度的片段由于缺乏语义连贯性和清晰边界而相互竞争。

在这项工作中，我们通过为检索器添加语料库的结构化全局视图来解决这一关键限制。长上下文的全局结构视图有助于知识摄取（Liu et al., 2024b (https://arxiv.org/html/2609.03874#bib.bib40)）。此外，LLM能够将整个语料库存储在其模型参数中，直接为用户查询生成文档标识符（Tay et al., 2022 (https://arxiv.org/html/2609.03874#bib.bib24)）。我们提出，通过赋予LLM搜索语料库的全局结构，它能够更准确地从其模型参数中存储和检索信息。这种全局结构已经存在于维基百科（Wikipedia (2024) (https://arxiv.org/html/2609.03874#bib.bib29)）页面、教科书、企业帮助和产品特性网页（SAP (2024) (https://arxiv.org/html/2609.03874#bib.bib30)）以及技术报告（SEC (2024) (https://arxiv.org/html/2609.03874#bib.bib31)）中。

请参见图注**图1**：人类可以通过查看目录并选择第4.2.3节来回答“什么是多数制投票系统？”，而无需阅读整本书《导论：比较政府与政治》(https://open.umn.edu/opentextbooks/textbooks/1435)。**图1**（(https://arxiv.org/html/2609.03874#S1.F1)）表明，对于“什么是多数制投票系统？”这样的问题，人类很自然地会查阅ToC，并首先缩小范围，认为答案可能在“民主与民主化”一章中。进一步的子章节显示，“民主制度”一节和“选举制度与政党”小节可能包含答案。该小节的内容确实包含了多数制投票系统的定义。与ToC条目相关联的文本内容在语义上是连贯的，围绕着由ToC条目标题所捕获的主题进行组织。此外，一个ToC条目与其他ToC条目之间具有清晰的语义边界。将ToC作为检索单元是一种新颖而直观的组织长上下文以供检索的方式。

在这项工作中，我们提出了STAIR（**S**tructure **A**ware **I**nformation **R**etriever）用于基于ToC的检索，其灵感来源于人类如何使用ToC查找信息，以及LLM能够将整个语料存储在模型参数中的事实。我们细致而全面的消融研究表明，为LLM赋能ToC在两个关键方面有所帮助——抑制幻觉和推广到训练样本数量较少的内容。STAIR在SearchTome上达到了82.6的高Recall@1分数，比其最接近的基线可微分搜索索引（DSI）（Tay et al., 2022 (https://arxiv.org/html/2609.03874#bib.bib24)）高出7.4%。DSI需要（间接地）通过训练样本的补全部分来发现书籍结构，而STAIR可以利用作为输入提供的结构来准确地从其模型参数中存储和检索信息。

我们开发并发布了一个新的多领域基准测试集SearchTome，由来自6个不同领域的18本不同规模的书籍组成，经过解析和清理以提取其ToC并将其映射到相关章节的文本。我们还为基准测试中的每本书发布了一组训练、开发和测试查询，其中每个查询都标注了作为检索输出的黄金ToC条目。我们相信这将是推动基于ToC检索进一步研究的第一步，SearchTome将作为标准的评估基准。我们使用SearchTome训练和评估STAIR，并将其与强力基线检索器（如BM25和完全微调的序列到序列模型，例如未利用ToC的DSI（Tay et al., 2022 (https://arxiv.org/html/2609.03874#bib.bib24)））进行比较。我们的实验结果表明，STAIR从在其训练中纳入ToC中显著受益，并轻松超越了传统的DSI。我们的主要贡献如下：

- • 我们提出了一种新颖的方向，利用长篇语料库（如书籍）的目录（ToC）作为高效索引语料库知识的有价值元素，并将ToC条目作为有效的检索单元。
- • 我们构建并发布了一个多领域且多样化的基准测试集SearchTome，由来自6个不同领域的18本书组成，用于基于ToC的检索任务。
- • 我们开发了基于LLM的STAIR，并在SearchTome上对其进行评估，与强力的竞争基线进行比较。

## 2相关工作

高效精确的检索是自然语言处理中的一个关键研究问题，具有广泛的应用，例如语义搜索（Guha et al., 2003 (https://arxiv.org/html/2609.03874#bib.bib17)）、开放域问答（Chen and Yih, 2020 (https://arxiv.org/html/2609.03874#bib.bib16); Zhu et al., 2021 (https://arxiv.org/html/2609.03874#bib.bib15)）和检索增强生成（RAG）（Lewis et al., 2020 (https://arxiv.org/html/2609.03874#bib.bib14)），仅举几例。随着RAG应用的兴起，精确检索变得越来越重要，尤其是在抑制生成模型的幻觉方面。我们可以将所有检索技术大致分为三大类：

**密集检索**（Cai et al., 2021 (https://arxiv.org/html/2609.03874#bib.bib25); Karpukhin et al., 2020 (https://arxiv.org/html/2609.03874#bib.bib27)）使用密集向量表示查询和文档，并基于其向量之间的距离计算相似度。DPR（Karpukhin et al., 2020 (https://arxiv.org/html/2609.03874#bib.bib27)）使用双编码器，ColBERT（Khattab and Zaharia, 2020 (https://arxiv.org/html/2609.03874#bib.bib28)）使用密集向量表示查询和文档中的每个token，并执行晚期交互来对查询和文档对进行评分。最近，Sarthi et al. (2024) (https://arxiv.org/html/2609.03874#bib.bib8) 引入了RAPTOR，一种通过递归嵌入、聚类和总结长文档内容来构建层次树的方法，用于在不同抽象层次上检索相关文本。我们的方法在两个关键方面有所不同：虽然RAPTOR使用密集检索器进行索引和检索，但我们采用了基于模型的索引。此外，我们通过利用目录（ToC）结构增强了基于模型的索引，而RAPTOR仅依赖于密集检索器来访问多个抽象层次的信息。

**学习型稀疏检索**系统使用稀疏向量表示查询和文档。与传统的稀疏检索方法（如BM25（Robertson and Zaragoza, 2009 (https://arxiv.org/html/2609.03874#bib.bib13)））依赖于精确的token匹配不同，这些模型学习在稀疏高维空间中表示查询和文档，从而实现高效的词汇匹配。SPLADE（Hai et al., 2023 (https://arxiv.org/html/2609.03874#bib.bib26)）（用于信息检索的稀疏词汇与扩展模型）是此类系统的一个突出例子。其他几种模型也被开发出来以增强稀疏检索，包括SPLADEv2（Formal et al., 2021 (https://arxiv.org/html/2609.03874#bib.bib21)）、DeepCT（Dai and Callan, 2019 (https://arxiv.org/html/2609.03874#bib.bib20)）、uniCOIL（Lin and Ma, 2021 (https://arxiv.org/html/2609.03874#bib.bib19)）和DeepImpact（Basnet et al., 2024 (https://arxiv.org/html/2609.03874#bib.bib18)）。

**基于模型的索引**（Metzler et al., 2021 (https://arxiv.org/html/2609.03874#bib.bib10)）如可微分搜索索引（DSI）（Tay et al., 2022 (https://arxiv.org/html/2609.03874#bib.bib24)）将整个语料库的知识直接嵌入其模型参数中——极大地简化了检索过程。STAIR将这一范式更进一步，学习利用语料库中丰富的层次化和语义全局结构。

## 3SearchTome：基于目录检索的新基准

表1：SearchTome书籍链接与统计信息
### 3.1打破常规：为何需要新的基准

已有多个基准测试集围绕长上下文应用被提出，例如专注于自然语言推理（NLI）的ContractNLI（Koreeda and Manning, 2021 (https://arxiv.org/html/2609.03874#bib.bib38)），或包含七项挑战性任务的Scrolls（Shaham et al., 2022 (https://arxiv.org/html/2609.03874#bib.bib39)）。然而，目前不存在任何针对具有任何形式结构化视图的长上下文检索的基准测试，而我们认为这是精确检索的关键。诸如GovReport（Huang et al., 2021 (https://arxiv.org/html/2609.03874#bib.bib32)）、SummScreen（Chen et al., 2022 (https://arxiv.org/html/2609.03874#bib.bib33)）和QM-Sum（Zhong et al., 2021 (https://arxiv.org/html/2609.03874#bib.bib34)）之类的基准测试侧重于生成长文档的摘要，而Qasper（Dasigi et al., 2021 (https://arxiv.org/html/2609.03874#bib.bib35)）、QuALITY（Pang et al., 2022 (https://arxiv.org/html/2609.03874#bib.bib37)）和NarrativeQA（Kočiský et al., 2018 (https://arxiv.org/html/2609.03874#bib.bib36)）则侧重于生成方面，仅为用户查询提供答案，不包含用于检索的黄金段落。最接近的基准测试是LocoV1（Saad-Falcon et al., 2024 (https://arxiv.org/html/2609.03874#bib.bib41)），它确实包含每个查询的黄金段落。然而，由于输入文档缺乏ToC或全局结构，我们无法将此基准测试用于我们的任务。据我们所知，SearchTome是第一个提供带有目录的干净结构化视图的基准测试，用于评估具有结构的长上下文检索。

### 3.2SearchTome：一个多样化且新颖的基于ToC检索的基准

我们建立新基准的主要动机是评估像ToC这样的全局语义结构如何能够帮助长上下文应用（这在技术报告或大量书籍中很典型）实现更好的检索。因此，为了创建一个干净有效的基准，我们转向了开放教科书（(https://open.umn.edu/opentextbooks/)），这可能是此类教科书最大的集合。为了使基准测试在不同领域具有全面性，我们选择了六个不同的领域——教育、金融、法律、医学、自然科学和社会科学，并从每个领域中选择了三本书（表1（(https://arxiv.org/html/2609.03874#S3.T1)））。我们解析了每本书的PDF文件，并使用pymupdf¹¹¹https://pymupdf.readthedocs.io/en/latest/提取了目录。一本书最终清理后的内容示例可以在这里查看（(https://anonymous.4open.science/r/s_331/data/education/book1/v1/content.jsonl)）。对于每个段落，我们请求一个强大的LLM Mixtral 8x7b模型（Jiang et al., 2024 (https://arxiv.org/html/2609.03874#bib.bib11)）生成多个涵盖段落中所有重要主题的问题（Zhang et al., 2024 (https://arxiv.org/html/2609.03874#bib.bib1)）。遵循与DSI（Tay et al., 2022 (https://arxiv.org/html/2609.03874#bib.bib24)）中提出的训练参数索引相同的技术，我们使用其中一部分问题来训练DSI和STAIR，一小部分作为开发集以帮助我们选择最佳检查点。生成的大部分问题被选为测试问题——以彻底测试IR系统对内容的覆盖程度。我们相信，我们的基准测试SearchTome将推动构建能够利用语料库结构并为用户查询检索最相关片段的IR系统的研究。

## 4STAIR：目录搜索器

我们现在正式定义问题陈述和给定一本书及其目录（ToC）的情况下，检索章节标题的技术。

### 4.1符号

给定一个长文档D及其目录ToC_D = {T1, T2, ..., Tn}，其中ToC_D = {T₁, T₂, …., Tₙ}。两个节点T_p, T_c ∈ ToC_D之间的边e: T_p → T_c定义为T_p = parent(T_c)，如果由标题T_p表示的章节被进一步划分为包括T_c在内的多个子章节。叶子节点的集合因此可以定义为LN_D = {T_l ∈ ToC_D | ∃! T_c ∈ ToC_D, T_l = parent_of(T_c)} ⊆ ToC_D，即{ T_l ∈ ToC_D | ∃! T_c ∈ ToC_D, T_l = parent_of(T_c) } ⊆ ToC_D。我们的目标是检索出能够回答用户查询q的正确叶子节点T_l ∈ LN_D。

### 4.2训练STAIR

图2：概