理解环境感知信息检索的行为

Hugging Face Daily Papers 论文

摘要

本文首次系统分析了大型语言模型如何通过强化学习学习适应不同检索器的查询制定策略,揭示了不同的最优查询风格,并引入了一种基于分支的展开技术以提高多检索步训练稳定性。

最近的检索增强生成(RAG)方法在处理复杂查询方面展现了强大的能力,然而当前的研究忽视了一个关键挑战:不同的检索器需要根本不同的查询制定策略才能达到最优性能。在这项工作中,我们首次系统分析了LLM如何通过强化学习(RL)学习适应不同检索器的查询制定策略。我们的实证研究表明,RL能有效教会LLM根据特定检索器特征定制查询。我们发现不同的检索器展现出截然不同的最优查询风格(例如描述性 vs. 疑问式),表明为某一检索器学习的策略对另一检索器无效。我们进一步表明,通过加入检索器特定的人类指导以及扩大模型规模,可以提升性能。为了促进多检索步轨迹上的学习,我们引入了一种基于分支的展开技术,提高了训练稳定性。我们的工作为构建真正感知检索器的RAG系统提供了首个实证证据和可操作见解。代码和资源可在 https://github.com/LCO-Embedding/Envs-aware-Information-Retrieval 获取。
查看原文
查看缓存全文

缓存时间: 2026/06/20 14:28

论文页面 - 理解环境感知的信息检索行为

来源:https://huggingface.co/papers/2606.16817

摘要

大语言模型可以通过强化学习训练,为不同的检索器调整查询构建策略,从而获得截然不同的最优查询风格,并借助检索器特定的指导与模型规模扩展来提升性能。

近年来,检索增强生成(RAG)方法在处理复杂查询方面表现出了强大能力,然而当前研究忽视了一个关键挑战:不同的检索器需要根本不同的查询构建策略才能达到最优性能。在本工作中,我们首次系统分析了LLM如何通过强化学习(RL)学习为不同检索器调整其查询构建策略。我们的实证研究表明,RL能有效教会LLM针对特定检索器的特性定制查询。我们发现,不同检索器展现出截然不同的最优查询风格(例如描述型 vs. 提问型),这意味着为某一检索器学到的策略对另一检索器无效。我们进一步证明,通过引入检索器特定的人类指导以及扩大模型规模可以提升性能。为促进在多步检索轨迹上的学习,我们引入了一种基于分支的展开技术,该技术能提升训练稳定性。我们的工作为构建真正检索器感知的RAG系统提供了首批实证依据及可操作见解。代码与资源可在 https://github.com/LCO-Embedding/Envs-aware-Information-Retrieval 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2606.16817) 查看 PDF (https://arxiv.org/pdf/2606.16817) GitHub 5 (https://github.com/LCO-Embedding/Envs-aware-Information-Retrieval) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.16817)

在你的智能体中获取此论文:

hf papers read 2606\.16817

没有最新CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2606.16817 即可在此页面建立链接。

引用此论文的数据集 0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.16817 即可在此页面建立链接。

引用此论文的 Space 0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2606.16817 即可在此页面建立链接。

包含此论文的收藏集 0

没有收藏集包含此论文

将本论文添加至收藏集 (https://huggingface.co/new-collection) 即可在此页面建立链接。

相似文章

Libra:面向智能体信息检索的环境训练

arXiv cs.AI

本文提出了Libra,一个自我演进的框架,通过在代码仓库中引入可变目录(层次化的Markdown文件,作为可导航索引)来提升LLM智能体的代码定位能力,实现了对数级别的改进以及在不同模型和问题集上的零样本迁移。

语言模型真的能进行上下文检索吗?在百万token规模的文档中挣扎

arXiv cs.CL

本文系统研究了百万token规模下的上下文检索,介绍了BlockSearch——一个0.6B参数的语言模型检索器,并分析了注意力稀释现象。该模型在MS MARCO和NQ等基准测试上达到或超越了密集检索的性能,并在需要不同相似性概念的任务上显著优于密集检索,突显了上下文检索的潜力,同时强调了在极端上下文增长下注意力控制的重要性。

学习检索:面向文本到SQL智能体的双层长期记忆

arXiv cs.CL

本文提出了MERIT,一种面向交互式文本到SQL智能体的动态多时域记忆检索框架,它使用情节级别和回合级别的记忆,并通过强化学习以及用于密集奖励的过程奖励模型优化的学习检索策略。在BIRD-Interact和Spider2-Snow上的实验表明,MERIT在成功率上优于静态和单时域动态基线,同时需要更少的交互轮次。