超越语义相似性:通过直接语料库交互重新思考智能体搜索的检索

Hugging Face Daily Papers 论文

摘要

论文提出了直接语料库交互(DCI),这是一种新颖的方法,允许AI代理使用标准终端工具直接查询原始文本,而不是传统的基于嵌入的检索。通过绕过固定的相似性接口和离线索引,DCI在多个信息检索和智能体搜索基准上显著优于传统的稀疏、密集和重排序基线。

现代检索系统,无论是词法还是语义,都通过一个固定的相似性接口来展示语料库,该接口在推理前将访问压缩为单个top-k检索步骤。这种抽象是高效的,但对于智能体搜索来说,它成了瓶颈:精确的词法约束、稀疏线索组合、局部上下文检查以及多步假设细化,通过调用传统的现成检索器很难实现,而早期过滤掉的证据无法通过更强的下游推理恢复。智能体任务进一步加剧了这一限制,因为它们要求代理编排多个步骤,包括发现中间实体、组合弱线索,以及在观察到部分证据后修改计划。为了解决这一限制,我们研究了直接语料库交互(DCI),其中代理直接使用通用终端工具(例如grep、文件读取、shell命令、轻量级脚本)搜索原始语料库,无需任何嵌入模型、向量索引或检索API。这种方法不需要离线索引,并且能自然适应不断发展的本地语料库。在信息检索基准和端到端智能体搜索任务中,这种简单设置在多个BRIGHT和BEIR数据集上显著优于强大的稀疏、密集和重排序基线,并在BrowseComp-Plus和多跳问答中获得了强大的准确性,而无需依赖任何传统的语义检索器。我们的结果表明,随着语言代理变得更强大,检索质量不仅取决于推理能力,还取决于模型与语料库交互的接口分辨率,而DCI为智能体搜索开辟了更广阔的接口设计空间。
查看原文
查看缓存全文

缓存时间: 2026/05/08 14:27

论文页面 - 超越语义相似度:通过直接语料库交互重新思考Agentic搜索的检索

来源:https://huggingface.co/papers/2605.05242 作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

直接语料库交互通过允许智能体直接查询原始文本,实现了更有效的agentic搜索,在复杂任务中超越了传统检索方法。

现代检索系统(https://huggingface.co/papers?q=retrieval%20systems),无论是词法检索还是语义检索,都通过一个固定的相似度接口暴露语料库,在推理之前将访问压缩为单一的 top-k 检索步骤。这种抽象是高效的,但对于 agentic 搜索(https://huggingface.co/papers?q=agentic%20search)而言,它成为了一个瓶颈:精确的词法约束、稀疏线索的联合、局部上下文检查以及多步骤假设修正,很难通过调用传统的现成检索器来实现;而在早期被过滤掉的证据,即使通过更强的下游推理也无法恢复。Agentic 任务进一步加剧了这种限制,因为这类任务要求智能体编排多个步骤,包括发现中间实体、组合微弱线索、以及根据部分证据观察结果调整计划。为了解决这一限制,我们研究了直接语料库交互(https://huggingface.co/papers?q=direct%20corpus%20interaction)(DCI),其中智能体使用通用终端工具(https://huggingface.co/papers?q=terminal%20tools)(例如 grep、文件读取、shell 命令、轻量级脚本)直接搜索原始语料库,无需任何嵌入模型、向量索引或检索 API。这种方法无需离线索引,并能自然适应不断变化的本地语料库。在 IR 基准测试(https://huggingface.co/papers?q=IR%20benchmarks)和端到端 agentic 搜索(https://huggingface.co/papers?q=agentic%20search)任务中,这种简单的设置在多个 BRIGHT 和 BEIR 数据集(https://huggingface.co/papers?q=BEIR%20datasets)上大幅优于强大的稀疏、密集和重排序(https://huggingface.co/papers?q=reranking)基线,并在 BrowseComp-Plus(https://huggingface.co/papers?q=BrowseComp-Plus)和多跳 QA(https://huggingface.co/papers?q=multi-hop%20QA)上取得了强劲的准确率,而不依赖任何传统的语义检索器。我们的结果表明,随着语言智能体变得更强,检索质量不仅取决于推理能力,还取决于模型与语料库交互的接口分辨率,DCI 为 agentic 搜索(https://huggingface.co/papers?q=agentic%20search)开辟了更广阔的接口设计空间。

查看 arXiv 页面(https://arxiv.org/abs/2605.05242)查看 PDF(https://arxiv.org/pdf/2605.05242)GitHub2(https://github.com/DCI-Agent/DCI-Agent-Lite)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2605.05242)

引用本论文的模型0

没有模型链接本论文

请在模型 README.md 中引用 arxiv.org/abs/2605.05242 以从此页面链接。

引用本论文的数据集0

没有数据集链接本论文

请在数据集 README.md 中引用 arxiv.org/abs/2605.05242 以从此页面链接。

引用本论文的Space0

没有 Space 链接本论文

请在 Space README.md 中引用 arxiv.org/abs/2605.05242 以从此页面链接。

包含本论文的收藏集0

没有收藏集包含本论文

请将本论文添加到一个收藏集(https://huggingface.co/new-collection)中,以从此页面链接。

相似文章

面向智能体搜索的交互空间检索

Hugging Face Daily Papers

RISE 框架通过结合 BM25 检索与预处理文档索引,为智能体搜索构建有界交互空间,在保持高准确率的同时实现大规模语料库的高效探索。