OBLIQ-Bench：揭示现代检索器中因潜在与隐式查询而被忽视的瓶颈

来源：https://arxiv.org/html/2605.06235
Diane Tchuindjo Devavrat Shah Omar Khattab
麻省理工学院，剑桥，马萨诸塞州 {dianetc, devavrat, okhattab}@mit.edu

摘要

检索基准日益饱和，但我们认为高效搜索远未解决。我们识别出一类称为*非直接（oblique）*的查询，这些查询旨在查找实例化潜在模式的文档，例如找到所有表达隐性立场的推文、展示特定故障模式的聊天记录、或匹配抽象情景的转录文本。我们研究了非直接性可能产生的三种机制，并引入了OBLIQ-Bench，这是一套基于真实长尾语料库的五个非直接搜索问题。OBLIQ-Bench揭示了一种被忽视的检索与验证之间的不对称性：每当相关文档被呈现时，推理LLM能够可靠地识别潜在相关性，但即使是最复杂的检索流程也常常无法首先呈现大多数相关文档。我们希望OBLIQ-Bench能推动对在大规模语料库中高效捕获潜在模式和隐式信号的检索架构的研究。¹¹¹数据：https://huggingface.co/datasets/dianetc/OBLIQ-Bench

图1：与先前的基准相比，OBLIQ-Bench中的相关文档易于识别但检索难度大很多。图中的每个点代表一个检索基准。y轴显示一组最先进的检索系统和智能体多跳搜索管道获得的最佳NDCG@10。x轴显示当推理模型对注入有黄金结果的大量困难干扰项进行重新排序时获得的NDCG@10。先前的基准大多接近对角线：强检索器能够恢复推理模型可以验证的大部分内容。相反，非直接任务落在右下角：推理模型可以识别相关文档，但即使是LLM驱动的检索系统也无法呈现它们。更多细节见第3节（https://arxiv.org/html/2605.06235#S3）和第5节（https://arxiv.org/html/2605.06235#S5）。

1 引言

现代信息检索（IR）基准越来越倾向于将现有IR范式描绘为高效且几乎无法区分。在标准的段落排序数据集，如MS MARCO（Bajaj等人，2016（https://arxiv.org/html/2605.06235#bib.bib3））、BEIR（Thakur等人，2021（https://arxiv.org/html/2605.06235#bib.bib36））、MTEB（Muennighoff等人，2023（https://arxiv.org/html/2605.06235#bib.bib25）），甚至BRIGHT（Su等人，2025（https://arxiv.org/html/2605.06235#bib.bib32））中，饱和现象普遍存在，且在强密集检索器（Karpukhin等人，2020（https://arxiv.org/html/2605.06235#bib.bib16）；Qu等人，2021（https://arxiv.org/html/2605.06235#bib.bib26））、后期交互模型（Khattab和Zaharia，2020（https://arxiv.org/html/2605.06235#bib.bib17））和基于LLM的多跳智能体（Yao等人，2023（https://arxiv.org/html/2605.06235#bib.bib43）；Chang等人，2026（https://arxiv.org/html/2605.06235#bib.bib8））等指标如NDCG@k上越来越难以观察到超过边际差异。

图2：我们的五个OBLIQ-Bench任务涵盖三种类型的非直接搜索查询。描述性查询寻求可以从文档内容推断出的潜在属性，例如微妙暗示详细立场的推文以及展示隐式故障模式的人机对话。类比查询寻求所有与查询内容共享原型但表面主题不同的文档，例如适用相同证明技巧的数学问题或跨主题共享作者风格指纹的文本片段。最后，舌尖查询将模糊回忆与特定晦涩段落匹配，例如国会听证会的转录。在每项任务中，推理模型可以验证相关性，但当前检索系统很难做到。

实际上，在众多现有IR基准（图1（https://arxiv.org/html/2605.06235#S0.F1）；右上角）中，能够被推理模型验证相关性的文档在很大程度上已经容易被高效搜索算法检索到。如果可扩展的检索器几乎可以匹配难以承受的前沿LLM（能够一起阅读查询和文档）设置的上限，那么还有什么问题需要解决？我们认为，这种明显的饱和是现有基准的产物，而不是检索问题本身的属性。存在一些自然查询——真实用户可能提出的，以及雄心勃勃的下游系统应该支持的查询——在这些查询上，当前检索架构得分极低，而推理LLM得分显著更高（图1（https://arxiv.org/html/2605.06235#S0.F1）；右下角）。这些查询共享一个我们称之为非直接性的非正式属性：决定相关性的属性是潜在的，并且在文档中几乎没有或没有表面表达。考虑一位分析师在推文语料库中搜索任何帖子pp，这些帖子嘲笑用户如何将远距离武装冲突变成娱乐，但pp并没有明确表达这一点。相关推文可能通过讽刺或选择强调的内容来传达其立场，但通常不会直接与查询重叠。或者考虑一位审计师搜索人机对话，寻找模型收到格式约束，几轮后违反该约束，并且从未纠正自己的情况。这种失败在转录中显而易见，但在对话过程中可能不是一个被承认的话题。或者也许一位ML专家想要净化训练数据，可能希望找到所有使用与给定问题相同证明策略的问题，尽管细节不同。为推动领域应对此类雄心勃勃的检索挑战，我们做出三项贡献。首先，我们将非直接检索确定为评估搜索系统的一个被忽视的领域。我们将检索失败与验证成功之间的差距，即检索-验证不对称性（§3（https://arxiv.org/html/2605.06235#S3）），形式化为非直接性的实证测试，并用它来表明现有基准通常无法通过该测试：它们相对于现有方法不是非直接的（图1（https://arxiv.org/html/2605.06235#S0.F1））。其次，我们通过引入五个基于长尾语料库的困难检索任务来开发OBLIQ-Bench（§4（https://arxiv.org/html/2605.06235#S4））（图2（https://arxiv.org/html/2605.06235#S1.F2））。为了在大规模语料库中获得高召回率的相关性判断，而无需穷尽判断每个查询-文档对，我们提出一个流程：从人类定义的用于阅读语料库的视角出发——例如，推文中的隐式立场或对话中的故障模式——然后允许推理LLM（1）在一次可承受的单次遍历中对整个语料库进行标注，（2）使用这些提取的潜在属性标注对文档进行聚类，以及（3）生成描述每个聚类的范围良好的查询。图2（https://arxiv.org/html/2605.06235#S1.F2）显示了我们可以通过这种方式生成的代表性示例查询及其相关性判断。最后，我们评估了词汇、密集、后期交互和智能体检索器在五项任务上的表现（§5（https://arxiv.org/html/2605.06235#S5）），并得出关于现有IR格局的五条教训。所有系统在每项任务上都得分很低，通常接近NDCG@10零。相比之下，在非常大的困难干扰项池上应用锦标赛重新排序的推理模型（图3（https://arxiv.org/html/2605.06235#S3.F3））随着池大小的增加而显著更好地扩展，并可靠地分离相关文档，证实了相关性信号存在，但当前不应用查询和文档联合推理的方法无法访问。我们发布所有语料库、查询和相关性判断，并希望OBLIQ-Bench推动新的可扩展检索方法的研究，以开始攻击此类非直接查询。

2 背景与相关工作

我们感兴趣的是在大规模语料库C={d1,…,dN}\mathcal{C}=\{d_{1},\ldots,d_{N}\}上的可扩展检索。在查询时，检索器接收查询qq和整数k≪Nk\ll N，并且必须返回有序列表di1,…,dikd_{i_{1}},\ldots,d_{i_{k}}。检索器可以在离线状态下进行大量工作，例如预计算表示或构建索引，但其每次查询的成本应该与语料库大小成次线性关系，例如O(N0.5)O(N^{0.5})总操作，其中最多O(1)O(1)次调用大型LLM，或者至少具有足够小的常数，使得查询大型C\mathcal{C}是可能的。现代检索范式适合这种设置，不仅包括词汇、密集检索器和后期交互方法，还包括高度复杂的LLM搜索智能体或查询重写管道。我们使用标准IR指标如NDCG@kk和Recall@kk来评估质量。OBLIQ-Bench关注相关性由潜在关系决定的查询。非直接描述性查询寻求表达潜在属性的文档，例如隐式立场或行为故障模式。非直接类比查询寻求与查询共享抽象结构的文档，例如证明策略或作者风格，尽管表面主题不同。最后，非直接舌尖查询根据部分、有损和抽象的回忆来寻找晦涩段落。这些机制触及了一些先前的工作线，但在OBLIQ-Bench中，瓶颈出现在搜索过程非常早期。例如，现有的基于描述的检索查询（Ravfogel等人，2024（https://arxiv.org/html/2605.06235#bib.bib27））从内容的抽象描述中搜索句子，如匹配“职业道路的改变”到“转向管理职业”，这是一个较浅的语言视角。现有的舌尖和推断查询通常寻求流行实体，如电影、书籍或名人（Arguello等人，2021（https://arxiv.org/html/2605.06235#bib.bib2）；Lin等人，2023（https://arxiv.org/html/2605.06235#bib.bib20）；Mozafari等人，2026（https://arxiv.org/html/2605.06235#bib.bib24）），例如匹配“讲西班牙语的拥有最多头衔的足球运动员”到关于Lionel Messi的段落，这越来越容易通过LLM参数知识进行查询重写。最后，推理密集型检索如BRIGHT寻求难以验证的证据文档，但并非系统地更难检索到top-kk池中。OBLIQ-Bench旨在使潜在相关性本身成为第一阶段的搜索瓶颈，从而将困难更早地放置（在可扩展地首先呈现文档时），从而激发了下面的检索-验证诊断。附录A（https://arxiv.org/html/2605.06235#A1）包含扩展的相关工作部分。

3 非直接性与检索-验证不对称性

我们旨在向检索器提出比当前流行基准更具挑战性的任务。为此，我们必须防止出现那些看似困难，仅仅因为查询表述不当，或者不可能获得高分任务。换句话说，我们必须找到任务tt，使得对于一组感兴趣的可扩展检索系统R\mathcal{R}，检索-验证差距很大。我们将这个差距定义如下。对于质量度量QQ，令gap(t)=Vt−Rt{\mathrm{g}ap}(t)=V_{t}-R_{t}，其中Vt=maxm∈M⁡Q(m,t)V_{t}=\max_{m\in\mathcal{M}}Q(m,t)表示在强大模型类M{\mathcal{M}}中任何模型mm达到的最佳质量，该模型类通常可能昂贵得令人望而却步，而Rt=maxr∈R⁡Q(r,t)R_{t}=\max_{r\in\mathcal{R}}Q(r,t)是高效检索系统类R中最佳评分r∈Rr\in\mathcal{R}的质量。尽管在C\mathcal{C}中的每个文档上运行强大模型mm一次或两次可能是负担得起的（§4（https://arxiv.org/html/2605.06235#S4）），但我们不能为每个查询qq都穷举重复这样做。相反，我们可以请求一些高效系统r∈Rr\in\mathcal{R}获取一组K≫kK\gg k文档，然后使用强大模型m∈Mm\in\mathcal{M}对这组无序的KK文档进行排序。²²²这受到pooling的启发（Voorhees，2007（https://arxiv.org/html/2605.06235#bib.bib38）），这是TREC评估检索器的标准方法，其中“评判者仅审查每个（检索系统）针对该主题检索的前X个文档的并集”。这样做可以建立最佳可能系统Q(⋆,t)Q(\star,t)质量的下界。通过对mm的稳定性进行适度假设，我们可以进一步近似相同两阶段⟨r,m⟩\langle r,m\rangle系统质量的上界，确保查询qq的每个缺失的“黄金”文档都被注入（打乱的）来自rr的KK文档中。

（图3） 图3：随着困难候选池的增长，检索-验证差距仍然存在。最先进的密集检索器Gemini-Embedding-2和GPT-5.2重新排序器在候选池大小KK增加时的Recall@10。对于每个模型，虚线按原样对检索到的池进行排序，给出依赖于底层池召回率的下限估计。实线在排序前将缺失的黄金文档注入池中，给出模型在呈现正例时如何识别正例的上限估计。垂直虚线后的GPT-5.2微弱和虚线部分是在重新排序的最大池之外的投影。在所有三个任务中，GPT-5.2重新排序在上下设置中分别远高于Gemini-Embedding-2相似度。

利用这两个边界，我们可以开始估计任务tt相对于一组最先进的可扩展检索系统R的检索-验证差距。为了使这种估计更可靠，我们可以监控随着KK的缩放，这两个边界如何移动，并观察强大模型m∈Mm\in\mathcal{M}的移动与检索器r∈Rr\in\mathcal{R}在同一质量度量QQ上的移动有何不同。图3（https://arxiv.org/html/2605.06235#S3.F3）展示了强推理模型mm（设置为GPT-5.2）和我们实验中最强的前沿密集检索器Gemini-Embedding-2的这些模式。我们的列表级GPT-5.2锦标赛重新排序器和其他方法的细节在第5节（https://arxiv.org/html/2605.06235#S5）中讨论。在这里，我们在三个具有代表性的OBLIQ-Bench任务上运行池缩放实验：Twitter冲突（描述性任务）、Math Meta Program（类比任务）和Congress Hearings（舌尖任务）。对于每个任务和两种方法中的每一种，我们评估随着候选池预算增加的两个设置下的Recall@10：标准和黄金注入。³³³GPT-5.2是在由BM25、Qwen3-Embedding-0.6B和Qwen3-Embedding-4B以及Gemini-Embedding-2 top-k′k^{\prime}输出的并集构建的池上进行评估。Gemini嵌入模型在相同池大小上进行测试，但不包括其自身的top-kk，因为这会呈现其自身最困难的干扰项并降低其分数。只有Congress任务在GPT-5.2的上下线之间有很大距离：因为每个查询只有一个相关文档，底线永远不会超过池的（低）成功率。在所有三个任务和我们的两个设置中，随着KK的增长，GPT-5.2重新排序仍然远高于Gemini-Embedding-2。在验证了这种池化方法后，我们将它应用于许多流行的现