Q-RAG：通过基于价值的 Embedder 训练实现长上下文多步检索

Hugging Face Daily Papers 论文
retrieval-augmented-generation multi-step-retrieval reinforcement-learning embedder-training long-context llm-fine-tuning

摘要

Q-RAG 引入了一种基于强化学习的 Embedder 模型微调方法，以实现高效的多步检索，并在长达 10M token 的长上下文基准测试中取得了最先进的结果。该方法为微调小型 LLM 以处理复杂的多步搜索任务提供了一种资源高效的替代方案。

检索增强生成（RAG）方法通过高效筛选相关上下文来提升 LLM 的性能，从而减少幻觉并降低推理成本。然而，现有的大多数 RAG 方法主要侧重于单步检索，这通常不足以回答需要多步搜索的复杂问题。近年来，多步检索方法逐渐兴起，通常涉及对小型 LLM 进行微调以执行多步检索。此类微调方式资源消耗极大，且难以兼容更大的 LLM。在本研究中，我们提出了 Q-RAG，这是一种新颖的方法，利用强化学习（RL）对 Embedder 模型进行微调以实现多步检索。Q-RAG 为开放域问答任务中的现有多步检索方法提供了一种极具竞争力且资源高效的替代方案，并在主流的长上下文基准测试 BabiLong 和 RULER 上取得了最先进的结果，支持的上下文长度高达 10M token。代码已开源：https://github.com/griver/Q-RAG
查看原文
查看缓存全文

缓存时间: 2026/05/11 18:55

论文页面 - Q-RAG：基于价值嵌入模型训练的长上下文多步检索

来源：https://huggingface.co/papers/2511.07328

摘要

Q-RAG 通过对嵌入模型进行强化学习微调，为大型语言模型实现了高效的多步检索，并在长上下文基准测试中达到了最先进的性能。

检索增强生成 (https://huggingface.co/papers?q=Retrieval-Augmented%20Generation)（RAG）方法通过为 LLM 高效过滤相关上下文来提升其性能，从而减少幻觉并降低推理成本。然而，大多数现有的 RAG 方法主要关注单步检索，这通常不足以回答需要多步搜索的复杂问题。近年来，多步检索 (https://huggingface.co/papers?q=multi-step%20retrieval) 方法逐渐涌现，通常涉及对小型 LLM 进行微调以执行多步检索 (https://huggingface.co/papers?q=multi-step%20retrieval)。此类微调过程资源消耗极大，且无法支持更大规模 LLM 的应用。在本研究中，我们提出了 Q-RAG，这是一种新颖的方法，利用强化学习 (https://huggingface.co/papers?q=reinforcement%20learning)（RL）对嵌入模型 (https://huggingface.co/papers?q=Embedder%20model) 进行微调，以实现多步检索 (https://huggingface.co/papers?q=multi-step%20retrieval)。Q-RAG 为现有的开放域问答 (https://huggingface.co/papers?q=open-domain%20question%20answering) 多步检索 (https://huggingface.co/papers?q=multi-step%20retrieval) 方法提供了一种极具竞争力且资源高效的替代方案，并在流行的长上下文基准测试 (https://huggingface.co/papers?q=long-context%20benchmarks) BabiLong (https://huggingface.co/papers?q=BabiLong) 和 RULER (https://huggingface.co/papers?q=RULER) 上（支持高达 1000 万 token 的上下文）取得了最先进的结果。代码已开源：https://github.com/griver/Q-RAG

查看 arXiv 页面 (https://arxiv.org/abs/2511.07328) 查看 PDF (https://arxiv.org/pdf/2511.07328) 项目页面 (https://github.com/griver/Q-RAG) GitHub 37 (https://github.com/griver/Q-RAG) 添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2511.07328)

在你的 agent 中获取此论文：

hf papers read 2511.07328

尚未安装最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2511.07328 即可在此页面显示关联。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2511.07328 即可在此页面显示关联。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2511.07328 即可在此页面显示关联。

包含此论文的合集 0

暂无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 即可在此页面显示关联。

相似文章

上下文优化下的检索增强生成：从梯度下降视角

arXiv cs.CL

本文研究检索增强生成作为上下文优化过程，表明线性自注意力可以在统一的RAG目标上实现梯度下降。它提出了一种轻量级方法，适用于冻结的RAG大语言模型，通过预测上下文条件的更新，在多个问答基准上提升了性能。

ContextRAG：面向检索增强生成的无抽取层次图构建

arXiv cs.CL

ContextRAG引入了一种无抽取方法，用于构建面向检索增强生成的层次图索引。该方法利用残差量化K均值（Residual-Quantization K-Means）和形式概念分析（Formal Concept Analysis），将大语言模型（LLM）调用和Token数量减少数个数量级，同时在多跳问题上保持具有竞争力的F1分数。