AutoIndex:面向检索的表示程序学习
摘要
AutoIndex是一个框架,学习可执行的表示程序,在索引前转换文档,相比静态BM25基线,平均提升Recall@100达8.4%,nDCG@10达8.3%。
查看缓存全文
缓存时间: 2026/07/22 22:46
论文页面 - AutoIndex:面向检索的学习表征程序
来源:https://huggingface.co/papers/2607.18603
摘要
我们提出 AutoIndex,一个学习表征程序的框架:这些可执行的转换将原始文档映射为暴露给检索系统的表征。AutIndex 不是微调检索器、重排序器或一组有限的预处理超参数,而是在索引之前搜索对文档进行切片、丰富、归一化、重新加权或重新组织的程序。在每次迭代中,AutoIndex 执行验证引导的程序搜索,其中代理诊断当前程序的失败并合成候选更新,仅保留那些在最终索引下能提升检索质量的更新。我们在 CRUMB(一个异构检索任务基准)上评估 AutoIndex,所有实验均固定使用 BM25。学到的程序在所有 8 个任务上均提升了静态全文档 BM25 基线的召回率,Recall@100 平均提升 +8.4%,nDCG@10 平均提升 +8.3%,最大提升分别为 Recall@100 提升 +30.5%,nDCG@10 提升 +43.6%。这些结果表明,文档表征不应被视为检索开始前固定的预处理选择,而应作为明确的优化目标。复现结果的代码见 https://github.com/auto-index/autoindex。
查看 arXiv 页面 (https://arxiv.org/abs/2607.18603)
查看 PDF (https://arxiv.org/pdf/2607.18603)
项目页面 (https://auto-index.github.io/)
GitHub (https://github.com/auto-index/autoindex)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.18603)
在你的代理中获取该论文:
hf papers read 2607.18603
没有最新 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用该论文的模型 0
暂无模型链接到此论文
在模型 README.md 中引用 arxiv.org/abs/2607.18603 即可从本页链接。
引用该论文的数据集 0
暂无数据集链接到此论文
在数据集 README.md 中引用 arxiv.org/abs/2607.18603 即可从本页链接。
引用该论文的 Space 0
暂无 Space 链接到此论文
在 Space README.md 中引用 arxiv.org/abs/2607.18603 即可从本页链接。
包含该论文的收藏集 0
暂无收藏集包含此论文
将此论文添加到收藏集 (https://huggingface.co/new-collection) 可从本页链接。
相似文章
RL-Index: 强化学习的检索索引推理
RL-Index 提出了一种基于强化学习的智能索引框架,通过用LLM生成的解释来扩充文档,将推理从查询阶段转移到索引阶段,从而提升检索效果并降低在线延迟。
AutoIndexer:通过在编辑链上训练因果模型实现灵活顺序解码
AutoIndexer提出了一种通过“编辑链”训练因果生成模型的新解码机制,使模型能像文本编辑器一样,在生成后通过插入、替换和删除灵活修改先前的输出,同时在标准大语言模型基准测试中不损失性能。
AutoMem: 一种用于自动化记忆架构搜索的文本梯度递归自我改进框架
AutoMem 是一个文本梯度递归自我改进框架,用于LLM代理中的自动化记忆架构搜索,它发现任务自适应架构,这些架构在准确性和效率上超越了人类设计的基线。
@vicky_grok:https://x.com/vicky_grok/status/2092448354815099378
本文深入探讨了检索增强生成(RAG)和向量搜索,基于10万份文档的基准测试,展示了精确搜索与IVF索引在速度和召回率之间的权衡。
@lateinteraction: Late-interaction稀疏检索?利用神经元级倒排索引,基于无监督稀疏自编码器。效果更佳…
本文提出了一种使用无监督稀疏自编码器和自然倒排索引的单阶段稀疏编码方法,以加速多向量检索,其效果优于传统的基于k-means的方法。