AutoIndex:面向检索的表示程序学习

Hugging Face Daily Papers 论文

摘要

AutoIndex是一个框架,学习可执行的表示程序,在索引前转换文档,相比静态BM25基线,平均提升Recall@100达8.4%,nDCG@10达8.3%。

我们提出了AutoIndex,一个学习表示程序的框架:可执行的变换,将原始文档映射到暴露给检索系统的表示。不同于调整检索器、重排序器或一小部分预处理超参数,AutoIndex在索引前搜索能够切分、丰富、规范化、重加权或重组织文档的程序。在每次迭代中,AutoIndex执行验证引导的程序搜索,其中代理诊断当前程序的失败并合成候选更新,仅保留那些能提升结果索引下检索质量的更新。我们在CRUMB——一个异构检索任务基准——上评估AutoIndex,所有实验固定使用BM25。学习到的程序在所有8个任务上均提升了召回率,相比静态全文BM25基线,平均提升Recall@100达8.4%,nDCG@10达8.3%,最大提升Recall@100达30.5%,nDCG@10达43.6%。这些结果表明,文档表示不应被视为检索开始前固定的预处理选择,而应作为一个明确的优化目标。复现结果的代码见 https://github.com/auto-index/autoindex。
查看原文
查看缓存全文

缓存时间: 2026/07/22 22:46

论文页面 - AutoIndex:面向检索的学习表征程序

来源:https://huggingface.co/papers/2607.18603

摘要

我们提出 AutoIndex,一个学习表征程序的框架:这些可执行的转换将原始文档映射为暴露给检索系统的表征。AutIndex 不是微调检索器、重排序器或一组有限的预处理超参数,而是在索引之前搜索对文档进行切片、丰富、归一化、重新加权或重新组织的程序。在每次迭代中,AutoIndex 执行验证引导的程序搜索,其中代理诊断当前程序的失败并合成候选更新,仅保留那些在最终索引下能提升检索质量的更新。我们在 CRUMB(一个异构检索任务基准)上评估 AutoIndex,所有实验均固定使用 BM25。学到的程序在所有 8 个任务上均提升了静态全文档 BM25 基线的召回率,Recall@100 平均提升 +8.4%,nDCG@10 平均提升 +8.3%,最大提升分别为 Recall@100 提升 +30.5%,nDCG@10 提升 +43.6%。这些结果表明,文档表征不应被视为检索开始前固定的预处理选择,而应作为明确的优化目标。复现结果的代码见 https://github.com/auto-index/autoindex。

查看 arXiv 页面 (https://arxiv.org/abs/2607.18603)
查看 PDF (https://arxiv.org/pdf/2607.18603)
项目页面 (https://auto-index.github.io/)
GitHub (https://github.com/auto-index/autoindex)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.18603)

在你的代理中获取该论文:

hf papers read 2607.18603

没有最新 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

暂无模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2607.18603 即可从本页链接。

引用该论文的数据集 0

暂无数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.18603 即可从本页链接。

引用该论文的 Space 0

暂无 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2607.18603 即可从本页链接。

包含该论文的收藏集 0

暂无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 可从本页链接。

相似文章

RL-Index: 强化学习的检索索引推理

Hugging Face Daily Papers

RL-Index 提出了一种基于强化学习的智能索引框架,通过用LLM生成的解释来扩充文档,将推理从查询阶段转移到索引阶段,从而提升检索效果并降低在线延迟。