少即是多：通过证据前置与压力自适应预算缓解RAG瓶颈

# 通过证据前置与压力自适应预算分配缓解RAG瓶颈  
来源：https://arxiv.org/html/2608.25115  
## 少即是多：通过证据前置与压力自适应预算分配缓解RAG瓶颈  

DOI：XXXXXXX.XXXXXXX（https://doi.org/XXXXXXX.XXXXXXX）会议：请确保输入来自您权限确认邮件的正确会议标题；2018年6月3日至5日；纽约州伍德斯托克市 ISBN：978-1-4503-XXXX-X/2018/06 CCS：信息系统检索模型与排名 CCS：信息系统检索结果评估 Weibin Cai 邮箱：[[email protected]](mailto:[email protected]) 附属机构：雪城大学电子与计算机工程系数据实验室，纽约州雪城市 Reza Zafarani 邮箱：[[email protected]](mailto:[email protected]) 附属机构：雪城大学电子与计算机工程系数据实验室，纽约州雪城市  

2018  

###### 摘要\。  

现有提升检索增强生成（RAG）效率的方法主要优化下游大语言模型生成，例如上下文压缩或服务优化。然而，RAG是一个端到端系统，其瓶颈可能在不同服务负载和重排序预算下在上游重排序与下游生成之间转移。本文首先通过经验刻画了这种瓶颈转移行为，并表明在高查询率或大重排序预算下，上游重排序可能成为主导瓶颈。减少重排序预算可缓解此瓶颈，但也可能丢失支撑证据并降低召回率。为解决此问题，我们提出PACE（优先自适应证据覆盖），一个无需训练的框架，结合证据前置与压力自适应预算分配。PACE首先按边际证据覆盖对候选文档重排序，优先选择与查询相关、互补且有助于形成多跳证据链的文档。我们证明该目标具有单调次模性，使贪心选择具有\((1-1/e)\)近似保证。PACE随后根据重排序器与大语言模型的相对压力动态调整重排序预算。在三个多跳问答数据集和在线服务模拟上的实验表明，PACE提升了证据召回率，并在排名密集型工作负载下降低了p95延迟。更重要的是，两个组件共同揭示了"少即是多"：证据密集的排名靠前候选文档能以更少的重排序文档实现更高的最终召回率。  

###### 关键词：  

检索增强生成、RAG瓶颈缓解、证据前置、压力自适应预算分配、证据召回、多跳问答  

## 1\.引言  

参考说明图1\.PACE如何提升RAG效果与效率。\(1\)证据前置使排名靠前的候选文档更具证据密集性，在较小重排序预算DD下实现更高证据召回率。\(2\)压力自适应预算分配随后在排名密集型工作负载下降低DD以减少延迟。\(3\)两者结合使PACE能够提供更密集的重排序器输入，并以更少的重排序文档实现更高最终召回率。RAG已成为为大型语言模型（LLMs）配备外部知识以应用于各类下游任务的广泛范式（Shuster等，2021；Lewis等，2020；Borgeaud等，2022）。典型RAG流程首先使用密集检索器从语料库检索查询相关片段（Karpukhin等，2020；Xiong等，2020a；Khattab和Zaharia，2020），然后应用重排序器（Nogueira和Cho，2019；Sun等，2023；Nogueira等，2020）优化其排序，并将前k个片段作为上下文输入大语言模型。因此，生成答案的质量很大程度上取决于上下文（前k个片段）是否覆盖回答查询所需的证据。增加k可提升证据召回率，但更长的上下文也使RAG系统更难以有效且高效处理：有用信息可能在中间丢失（Liu等，2024），噪声句子可能降低生成质量（Shi等，2023），长输入会引入大量推理开销（Déjean和Clinchant，2026；Yu等，2024）。现有工作主要从两个方向解决这些问题。在系统层面，KV缓存重用（Zheng等，2024）、调度（Yu等，2022）和优化预填充（Agrawal等，2024）等技术加速大语言模型推理。在数据和算法层面，上下文压缩器（Chirkova等，2025；Xu等，2023；Jiang等，2023）旨在保留核心信息的同时移除检索上下文中的无关词元。这些方法通过减少输入长度或加速生成，从而缓解下游瓶颈（即生成阶段瓶颈），同时基本保持问答性能。  

然而，RAG是一个端到端系统，提升其性能需要协调上游检索/重排序与下游生成，以兼顾效果和效率。在效果方面，如果上游未能召回必要证据，下游移除噪声上下文也无法恢复缺失信息或提高答案准确性。在效率方面，如果查询已在重排序器排队，仅优化生成器可能无法改善端到端延迟。因此，主要优化下游生成的方法可能无法泛化至不同RAG配置和服务负载。特别是，随着重排序预算（即发送到重排序器的检索候选文档数量）和QPS（每秒查询数）的变化，系统瓶颈可能在排序和生成之间转移。当查询频繁到达且需重排序大量文档时，排序阶段可能成为瓶颈；否则，延迟可能由生成主导。我们将这两种场景分别称为排名密集型和生成密集型。虽然使用较小固定重排序预算可缓解排名密集型工作负载，但在动态服务负载下此固定预算难以选择，且过小预算可能丢失必要证据并降低答案质量。因此，如何在保持证据召回率的同时动态缓解上游排名瓶颈仍是开放问题。一个有前景的解决方案需要两个关键特性，如图1所示：  

证据前置。这对多跳问题尤为重要，因为回答查询通常需要多个支撑文档而非单个高度相关片段。如果这些支撑文档能前置到前几个候选文档中，系统可使用更小重排序预算，减少上游工作负载同时保持证据召回率。现有检索侧方法通过多跳检索或多样性感知排序部分实现此目标。多跳检索器通常通过迭代检索或推理引导搜索获取支撑证据（Xiong等，2020b；Khattab等，2021；Trivedi等，2023），但需要专门训练检索器或引入额外大语言模型-检索迭代，可能增加服务成本。相比之下，此场景的目标不是通过额外检索步骤获取新证据，而是在现有候选池内对证据进行优先级排序，以便在较小重排序预算下在服务压力下保持召回率。多样性感知方法更接近此场景，因为它们通常通过减少冗余对现有候选文档重新排序。例如，最大边际相关性（MMR）（Carbonell和Goldstein，1998）惩罚与已选文档的相似性，而Dartboard（Pickett等，2024）优化了多样性RAG检索的相关信息增益。然而，由于三个问题，这些方法对多跳证据前置仍有局限：（i）粗粒度相关性建模，通常依赖文档级相似性而非细粒度语义维度；（ii）忽略文档间依赖关系，支撑文档可能与查询弱相关但与其他证据文档强关联；（iii）鲁棒性有限，其性能常依赖于数据集敏感的超参数且缺乏原则性性能保证。  

压力自适应预算分配。应动态选择不使重排序相对于生成成为瓶颈的最大预算，而非依赖固定预算。这需要联合考虑上游重排序压力和下游生成压力，以便系统在缓解排名密集型工作负载的同时尽可能保留证据。两者结合使系统能以更小重排序预算实现更高证据召回率，从而缓解上游瓶颈同时保持甚至提升证据召回率。  

本文工作。我们首先通过变化QPS和重排序预算的服务模拟刻画RAG瓶颈。分析表明，瓶颈不仅由重排序器与大语言模型的相对规模决定：增加QPS或重排序预算可使主导瓶颈从生成转移至上游重排序。此发现促使我们关注排名密集型场景，仅降低下游生成成本不足。为此，我们提出PACE（优先自适应证据覆盖），以缓解上游重排序瓶颈同时保持证据召回率。PACE包含两个组件：首先，证据前置对候选文档重排序，使排名靠前的候选文档包含与查询直接相关、与已选文档互补且有助于形成完整证据链的证据。我们将其表述为边际证据覆盖问题：用更少文档覆盖更多查询语义。每个文档的覆盖权重由其直接查询相关性和其桥接证据链的潜力决定。该目标具有单调次模性，使贪心前置具有\((1-1/e)\)近似保证。其次，压力自适应预算分配根据重排序器与大语言模型的相对排队压力动态调整重排序预算，在上游排名成为瓶颈时减少重排序器工作负载。两个组件共同实现关键效果：当排名靠前的候选文档证据密集时，少即是多。尽管自适应预算分配将更少候选文档发送至重排序器，但证据前置使这些候选文档更有用且噪声更少，增加重排序器将完整证据提升至最终top-KK上下文的机会。图1总结了这两个组件如何共同提升RAG效果与效率，产生"少即是多"效果。我们的贡献如下：  

- •我们通过经验识别RAG服务中的转移瓶颈，表明主导瓶颈可能随每秒查询数和重排序预算变化在重排序和生成之间移动。  
- •我们提出PACE，一个无需训练的框架，结合边际证据前置与压力自适应预算分配以减少上游重排序工作负载同时保持证据召回率。进一步证明PACE提出的证据覆盖目标具有单调次模性，使其贪心选择在基数约束下提供\((1-1/e)\)近似保证。  
- •在三个多跳问答数据集和在线服务模拟上的实验表明，PACE提升了证据召回率，显著降低了排名密集型工作负载下的延迟，并证明了当排名靠前的候选文档证据密集时，少即是多：以更小重排序预算实现更高最终召回率。  

## 2\.RAG瓶颈随配置和负载变化  

\(a\)不同QPS下重排序器-大语言模型模型对的瓶颈趋势。\(b\)排名密集型工作负载 \(c\)生成密集型工作负载  
图2\.不同配置和服务负载下的RAG瓶颈转移。此处DD表示重排序预算，KK表示发送至大语言模型的文档数量。在（a）中，我们针对两个重排序器：trecdl22-crossencoder-debertav3和ms-marco-MiniLM-L12-v2，以及两个大语言模型：Qwen2.5-3B-Instruct和Qwen2.5-7B-Instruct，变化QPS。报告\(\log_2\left(\frac{\text{P95 reranker queue time}}{\text{P95 LLM queue time}}\right)\)，正值表示排名密集型服务，负值表示生成密集型服务。在（b）和（c）中，我们使用Qwen2.5-3B-Instruct和trecdl22-crossencoder-debertav3对，变化DD并对比有无上下文压缩器的情况。在RAG系统中，大语言模型包含大部分参数和计算复杂度，因此常被视为主要服务瓶颈。然而，瓶颈并不总是固定在生成阶段。在不同模型选择、配置（如重排序预算DD）和服务负载（如每秒查询数）下，它可能在上游重排序和下游生成之间转移。我们通过比较请求在重排序器队列和大语言模型队列中的等待时间来刻画此转移：如果请求在重排序器队列中等待时间长于大语言模型队列，则重排序是瓶颈；否则，生成是瓶颈。我们报告p95排队延迟，即95%请求低于此延迟，因为服务瓶颈常表现为尾部延迟，并在高负载下指示系统饱和。本文聚焦重排序和生成阶段，并测量其排队延迟以确定哪个阶段限制系统吞吐量。为研究真实服务条件下的RAG瓶颈，我们使用开环工作负载，其中请求根据固定到达过程发布，独立于先前请求完成。详细数据集、模型和服务设置见第4.1节；此处我们聚焦观察到的瓶颈行为。  

1\.模型规模影响瓶颈趋势，而负载和重排序预算决定实际瓶颈。图2（a）显示，对于不同重排序器-大语言模型模型对，增加每秒查询数通常增加上游重排序压力。相对模型规模影响瓶颈，但高负载下即使使用大得多的大语言模型，重排序仍可能成为瓶颈。例如，Qwen-3B和MiniLM-L12之间的参数比为92.5，该模型对在低QPS下表现为生成密集型，但在QPS达到2.5时转移至排名密集型。重排序预算也