搜索，快与慢

在智能体检索时代重访“慢搜索“

概要 你愿意为了更好的搜索结果等更久吗？也许不愿意。但一个智能体愿意——这实际上能加速智能体式搜索。最近的一些结果表明，这样做能减少完成整个任务所需的时间**[1]**。在这篇文章中，我想深入探讨这些结果，以及我认为它们对搜索系统设计意味着什么。

一如既往，这里也有一个完整的格式化版本。

智能体检索很大程度上是一场赌注：模型执行更多搜索步骤，就能得到更好、更信息充分的答案。你是在用挂钟时间换取召回率。既然如此，为什么不更进一步，用单次查询延迟换取更优结果呢？

对于智能体检索，有两种相互竞争的理念：

• 在智能体搜索中延迟并不重要，因为用户已经愿意等待，而且模型本身也不关心延迟；
• 智能体对延迟和可扩展性问题更为敏感，因为它们发出的查询量远超人所能及。

我认为，如果只关注单次查询延迟，那么（1）是正确的；如果讨论的是吞吐量和“整个任务时间“，那么（2）是正确的。

这场争论并不新鲜——2013年的“慢搜索“论文提出了这样的问题：如果我们不在乎延迟，搜索会是什么样子？用户在什么情况下会接受这一点？[2] 今天的争论中多了一个变数：搜索的（直接？中间？）消费者不再是人类。

值得注意的是，他们甚至在2013年就提出了搜索智能体作为慢搜索的例子，在“用户从事其他任务（无论是搜索相关还是非搜索相关）时，在后台回答查询“。（你可以在这里阅读我对该论文的完整笔记；这是一篇令人愉快且非常有先见之明的论文！）

为智能体设计的搜索应该快吗？

对于许多搜索任务而言，不！ 大多数智能体搜索任务的瓶颈在于检索质量，而不是大语言模型的质量。考虑 BrowseComp-Plus 的例子。LightOnAI 的 Reason-ModernColBERT 表明，更好的检索是一股涨潮，能抬高所有船只（模型规模）：

注意横轴是工具调用次数，使用更好的检索器后，调用次数降至约13次，同时质量还在提升。

注意横轴是工具调用次数，使用更好的检索器后，调用次数降至约13次，同时质量还在提升。

另一种选择是 Direct Corpus Interaction (DCI) 论文，他们让智能体访问 grep 和 bash [3]。他们展示了类似的性能提升，但工具调用次数增加了一倍以上，成本也翻倍。

仅使用 grep + bash，在同一个基准测试中，工具调用次数上升到35次！

仅使用 grep + bash，在同一个基准测试中，工具调用次数上升到35次！

对于智能体检索，时间和成本主要都由大语言模型本身驱动。每次调用工具，你都在支付缓存输入成本，并等待模型中间推理的生成时间。

因此，如果你使用低延迟搜索，最终可能会等得更久。 而且等待时间更长，你还要为这种“特权“付出更高的成本。

检索中的测试时计算

为了降低[你的智能体满足信息需求所需完成的工作量]，我们会在延迟和质量之间进行权衡。但如何做出这种权衡呢？推理模型表明，大语言模型可以用延迟/计算量换取更高质量的答案。让模型花费更多 token，在困难数学/编程任务上的准确率会呈对数增长。

这种权衡在检索中同样存在。存在一条检索质量的帕累托前沿，取决于你愿意为每次查询花费多少时间/计算量：

注：这只是一个粗略的近似，请别来追我！😀 这里还做了许多简化假设，要剖析这张图本身就需要一篇博客文章。

注：这只是一个粗略的近似，请别来追我！😀 这里还做了许多简化假设，要剖析这张图本身就需要一篇博客文章。

大体上，你通过转向更好（通常也更大）的模型，以及沿着这张图向右上方移动来做出权衡。如果你自己构建检索系统，部署多向量方法比单向量方法需要更多努力。同样，构建一个末端带大语言模型重排器的两阶段检索器，需要为大语言模型推理搭建基础设施。这些比调用一个嵌入 API 要难。不过，今天有一些公司会直接为你处理这些，如果你不想自行构建的话。

补充：为什么延迟与质量的权衡如此清晰？ 这主要与检索研究社区有关。可以将其视为一个进化过程：较慢的技术只有通过更高质量才能存活。因此，大多数留存下来的东西，比如构建多阶段排序器，都会在这条前沿上把你向上向右推。

用查询延迟换取吞吐量

延迟与质量的权衡并不是你唯一可以考虑的取舍。例如，hornet.dev（@HornetDev，由 @jobergum 运营）押注的是：为智能体设计的检索引擎应该专注于吞吐量而非延迟。

核心赌注归结为：“智能体发出的查询比人类多，对延迟也不那么敏感。” 我觉得这很有道理，尤其是当我们看到越来越多的并行工具调用和子智能体出现时。

hornet 检索引擎专注于提供高 QPS。

hornet 检索引擎专注于提供高 QPS。

我们应该做更多的慢搜索研究

慢搜索论文中一个有趣的结果是，大多数人真的不愿意为了更好的结果而等待。

只有36名参与者（25.5%）能想象为了最好的结果而等待比主动搜索更长的时间。……其余86名参与者（61.0%）难以想象一个为了质量而牺牲速度的搜索引擎。

类似这样的发现多年来推动信息检索领域对搜索延迟的持续关注。然而，智能体是完美的慢搜索者：它们有无限的耐心，而且如果能给它们更好的结果，运行它们会更便宜/更好。

因此，作为研究社区，我们应该思考如何满足这位新客户。尝试一些看似离奇但缓慢的想法！也许你能解决 Obliq-Bench？

如果你对这个研究领域感兴趣，请阅读 Ben Clavié 的这篇小短文，他在其中指出信息检索社区过于关注工程和可扩展性，而对新颖、巧妙的创意关注不足：

https://x.com/bclavie/status/2062151045346984032

参考文献

• Antoine Chaffin. (2025). Reason-ModernColBERT. https://huggingface.co/lightonai/Reason-ModernColBERT

• Jaime Teevan, Kevyn Collins-Thompson, Ryen W White, Susan T Dumais, Yubin Kim. (2013). Slow search: Information retrieval without time constraints. Proceedings of the Symposium on Human-Computer Interaction and Information Retrieval.

• Zhuofeng Li, Haoxiang Zhang, Cong Wei, Pan Lu, Ping Nie, Yi Lu, Yuyang Bai, Shangbin Feng, Hangxiao Zhu, Ming Zhong, others. (2026). Beyond semantic similarity: Rethinking retrieval for agentic search via direct corpus interaction. arXiv preprint arXiv:2605.05242.