检索增强生成的组合性

Hugging Face Daily Papers 论文
retrieval-augmented-generation rag evaluation benchmark open-source compositionality llm

摘要

论文提出开源 RAG 受控评测框架 LASAGNA，在八个基准和 5K-200K 文档语料上测试 450 种配置，发现单独有效的 RAG 技术组合后收益大幅缩水（预期 +47% 仅得 +17%），检索质量与答案忠实度的设计取舍互相冲突，且最优组合随语料规模变化。

检索增强生成（RAG）使大语言模型以外部知识为依据。现代流程结合了嵌入、分块、检索、重排序、查询增强、上下文压缩和智能体核验，但这些技术通常被逐一单独评估。目前仍不清楚，它们各自带来的增益在组合后能否保留，检索质量与回答忠实度是否偏向相同的设计选择，以及基于小规模语料库得出的结论能否在大规模场景下成立。我们预先声明了三个假设，并推出 LASAGNA，一个用于受控 RAG 评估的开源框架。我们在八个基准测试及文档数量从 5 千到 20 万不等的语料库上，测试了 450 种配置。我们得出三项发现。首先，RAG 流程不同阶段中单独表现出色的技术，组合后未必能叠加增益：根据三种检索技术各自的表现，预计组合后可提升 47%，但实际共同使用时仅提升 17%。其次，各组件的增益在检索质量和回答忠实度上的叠加方式不同，优化其中一项可能损害另一项。第三，最佳组合会随着语料库规模的增长而变化：在小规模语料库上胜出的组合，在大规模场景下未必仍然最优。这些发现表明，单独测得的增益无法可靠预测实际性能，新的 RAG 技术应在完整的配套技术栈中进行测试。我们呼吁研究人员开展此类测试，并提供 LASAGNA 以简化这些实验。
查看原文

相似文章

ScalableRAG：零摄入成本的高质量RAG

arXiv cs.AI

本文介绍了ScalableRAG，一种检索增强生成方法，通过基于正则表达式的集合创建和聚合推理，在无需任何摄入成本（无需向量数据库或知识图谱）的情况下实现高准确率。它在多个数据集上优于基线方法，并提出了一个有限摄入变体以进一步提升准确率。

哪种RAG范式在大规模下胜出？检索增强生成范式的规模化研究

arXiv cs.CL

本文通过控制变量，对词汇型、密集向量型、图基型和智能体型RAG范式在从1,000到512,000篇文档的语料规模范围内进行了规模化比较研究。研究发现BM25在准确性与成本之间取得了最佳平衡，而图基型RAG面临高昂的构建成本，限制了其扩展性。

RAG 中的 C$^2$U：检索增强生成中的组合式概念遗忘

arXiv cs.CL

论文提出 Compositional Concept Unlearning（C2U，组合式概念遗忘）方法，在固定编码器与文档索引的 RAG 系统中，通过查询侧表示编辑来抑制对不需要概念的检索，并在五个数据集和四个编码器上验证了该方法能够在不损害对照查询效用的情况下降低目标概念的检索暴露。