FlowRAG:通过频率感知的多粒度图流协同显式推理
摘要
FlowRAG 提出了一种新颖的语义感知检索框架,该框架构建了四层异构图,并利用频率感知的加权流提取显式推理路径,在复杂推理基准测试中取得了最先进的性能。
arXiv:2606.17856v1 公告类型:新
摘要:基于图的检索增强生成(GraphRAG)对于知识密集型和多跳查询任务非常有效;然而,现有方法大多以实体图为基础,并依赖隐式的语义相关性传播。这通常会导致:(i)当用户查询抽象且在实体层面语义稀疏时,检索不足;(ii)多跳推理脆弱,噪声激活可能会破坏实体到实体的转换,破坏推断出的关系链,导致不可靠的结论。为此,我们提出了 \texttt{FlowRAG},一个语义感知的检索框架,它同时改进了语义召回和显式推理。具体来说,\texttt{FlowRAG} 构建了一个四层异构图,涵盖段落、摘要、句子和实体,其中摘要节点充当粗糙的语义中心。在检索时,双粒度激活模块结合摘要-查询对齐和句子级匹配,在转述和抽象情况下稳健地激活相关实体。然后,我们引入了一个频率感知的加权流模块,该模块通过段落内词频加权的实体-段落链接来路由相关性,修剪噪声连接,并提取高置信度的推理路径作为生成的显式逻辑骨架。大量实验表明,\texttt{FlowRAG} 在复杂推理基准上取得了最先进的性能。
查看缓存全文
缓存时间: 2026/06/17 05:39
# FlowRAG:通过频率感知多粒度图流协同显式推理
**摘要**:基于图的检索增强生成(GraphRAG)对于知识密集型和多跳查询任务非常有效;然而,许多现有方法主要基于实体构建图,并依赖于隐式语义相关性传播。这通常会导致:(i) 当用户查询抽象且在实体层面语义稀疏时,检索不足;(ii) 多跳推理脆弱,噪声激活可能使实体到实体的转换偏离轨道,破坏推断的关系链,导致不可靠的结论。为此,我们提出了FlowRAG,一个语义感知的检索框架,旨在提升语义召回率和显式推理能力。具体来说,FlowRAG 构建了一个包含段落、摘要、句子和实体四层结构的异构图,其中摘要节点充当粗粒度的语义枢纽。在检索时,一个双粒度激活模块结合了摘要-查询对齐和句子级匹配,能够稳健地激活释义和抽象查询下的相关实体。然后,我们引入了一个频率感知的加权流模块,该模块通过段落内词频加权的实体-段落链接传递相关性,剪除噪声连接,并提取高置信度的推理路径,作为生成的显式逻辑骨架。大量实验表明,FlowRAG 在复杂推理基准测试上取得了最先进的性能。
## 1 引言
近年来,检索增强生成(RAG)[Lewis et al., 2020; Cao et al., 2026a]已成为增强大语言模型(LLMs)的关键范式,通过将模型响应锚定在外部知识库中,从而减轻幻觉并提高事实准确性。虽然传统的RAG系统在简单查询上表现出色,但在面对大规模、非结构化语料库上的复杂多跳推理任务时,常常表现不佳,因为相关信息是碎片化分布的[Edge et al., 2025]。
为了克服平面检索在捕捉结构依赖关系方面的局限性,各种 GraphRAG 方法应运而生[Han et al., 2025]。如图1所示,早期方法通过开放信息抽取(OpenIE)构建显式知识图谱,以实现多跳遍历 [Martinez-Rodriguez et al., 2018]。在此基础上,像 G-Retriever [He et al., 2024] 这样的系统利用图神经网络来定位相关子图,而 RAPTOR [Sarthi et al., 2024] 则引入了递归聚类来构建用于高层上下文的层次树结构。最近的创新,如 HippoRAG [Jimenez Gutierrez et al., 2024] 和 LightRAG [Guo et al., 2024],进一步利用联想索引或双级检索策略来发现隐藏连接。然而,这些方法由于复杂的提取流程,通常计算成本高昂。为了缓解这些工程瓶颈,最近提出了 LinearRAG [Zhuang et al., 2025],引入了一种精简、无关系的分层图,显著提高了检索效率。
尽管有这些进展,现有的基于图的方法在处理复杂推理任务时仍然面临两个基本挑战。第一个挑战是由于实体稀疏性导致的检索不足。当用户查询抽象或语义稀疏(即,缺少与图节点匹配的显式实体提及)时,模型通常无法激活正确的入口点,导致高层查询主题与细粒度图证据之间存在“粒度不匹配”。第二个挑战是噪声引起的错误传播。在多跳推理过程中,查询中的噪声激活或图内的无关连接可能会使实体到实体的转换偏离轨道。当前方法通常缺乏鲁棒的过滤机制,导致检索过程沿着无关路径漂移,并最终破坏推断的关系链。
为此,我们提出了 FlowRAG,一个语义感知的检索框架,通过两个关键创新来克服这些局限性。首先,为了解决实体稀疏性问题,我们构建了一个包含段落、摘要、句子和实体的四层异构图。通过引入摘要节点作为粗粒度语义枢纽,FlowRAG 弥合了抽象查询与具体实体之间的鸿沟,即使在缺少显式关键词的情况下也能确保鲁棒的激活。其次,为了减轻噪声和错误传播,我们引入了一种频率感知的加权流机制。该模块通过段落内词频加权的实体-段落链接传递相关性,有效剪除噪声连接,并提取高置信度的推理路径,作为生成的显式逻辑骨架。大量实验表明,我们的模型有效优于现有的强基线。
我们的贡献总结如下:
- • 我们提出了一个名为 FlowRAG 的新框架,它构建了一个四层异构图,实现了双粒度激活机制,该机制协同细粒度句子匹配与粗粒度摘要对齐,以解决语义稀疏性问题。
- • 我们提出了一种频率感知的加权流算法来替代隐式拓扑评分,利用词频过滤噪声,并为多跳查询提取可解释的、显式的推理路径。
- • 我们进行了大量实验,结果表明 FlowRAG 在复杂推理基准测试上优于最先进的基线方法,验证了将语义相关性与显式信息流相结合的有效性。
## 2 相关工作
### 2.1 检索增强生成
检索增强生成 (RAG) [Cao et al., 2025; Lewis et al., 2020; Cao et al., 2026b] 已成为缓解大语言模型 (LLMs) 中幻觉和知识过时问题的基本范式,通过将生成过程锚定在外部语料库中。标准方法主要依赖于密集检索机制,例如 DPR [Karpukhin et al., 2020],它将查询和段落映射到共享的潜在空间中进行语义匹配。为了进一步提高检索精度,后续研究引入了迭代检索策略 [Shao et al., 2023] 来跨多步收集上下文,以及如 CRAG [Yan et al., 2024] 和 Self-RAG [Asai et al., 2024] 的自我反思框架,这些框架使 LLMs 能够主动对检索到的文档进行批判、丢弃或精炼。
尽管取得了这些进展,这些平面检索方法通常将语料库视为独立文本段的集合。因此,它们本质上难以建模不连续文档之间的显式依赖关系,这种局限性阻碍了在需要弥合信息鸿沟的复杂多跳推理场景中的性能。
### 2.2 图检索增强生成
GraphRAG 利用拓扑结构来捕获实体依赖关系,这对于多跳推理至关重要。早期方法专注于通过图神经网络进行子图提取或过滤。例如,KGP [Wang et al., 2024] 检索与查询概念严格相关的三元组,而 G-retriever [He et al., 2024] 和 GFM-RAG [Luo et al., 2025] 则采用诸如斯坦纳树之类的算法来识别相连且语义相关的子图。为了解决多粒度信息问题,RAPTOR [Sarthi et al., 2024] 引入了一种递归聚类机制来构建摘要的层次树,通过文本抽象而非显式实体路径来捕捉主题概念和细节。
近期方法论已转向模拟联想记忆以实现高效索引。HippoRAG [Jimenez Gutierrez et al., 2024] 和 HippoRAG2 [Gutiérrez et al., 2025] 利用个性化 PageRank 来模拟神经生物学检索,无需直接词汇重叠即可发现隐藏联系,而 LightRAG [Guo et al., 2024] 则通过双级索引策略增强了这一能力,以实现全面覆盖。与此不同的是,LinearRAG [Zhuang et al., 2025] 提出了一种精简化、无关系的替代方案,利用词共现绕过昂贵的提取流程。虽然高效,但其对隐式评分的依赖限制了多跳约束下的可解释性和精确性,凸显了对能够提取显式推理流的方法的需求。
## 3 方法
### 3.1 概述
在本文中,我们提出了 FlowRAG,它通过从静态文档索引转向动态结构导航来改进标准检索流程。该框架包含三个耦合阶段(图2)。首先,在离线索引阶段,我们构建一个四层异构图,显式编码语料库的语义层次。与二分图设计不同,这种拓扑结构增加了密集的语义表示,以弥合原始文本与抽象查询之间的差距。其次,在线检索阶段使用双粒度激活,利用来自细粒度文本细节和粗粒度主题摘要的相关性信号来启动搜索。最后,为了确保可解释性和深度,我们引入了一种频率感知的加权流算法来寻找显式的逻辑轨迹。它在图上传播查询能量,并用结构约束过滤噪声,为生成器生成连贯的推理路径。
### 3.2 四层异构图构建
为了完全捕获语料库的层次语义,FlowRAG 提出了一个四层异构图,记为 G=(V,E)。该结构显式建模了从宏观摘要到微观实体的语义层次。具体来说,顶点集 V 由四个不同语义粒度层组成:
V = VP ∪ VSum ∪ VS ∪ VE, (1)
其中 VP 代表原始段落;VSum 代表由大语言模型为每个段落生成的密集语义表示(摘要);VS 代表从段落中分割出的细粒度句子;VE 代表通过轻量级命名实体识别(NER)从句子和摘要中提取的命名实体。边集 E 的构建旨在通过四种特定交互类型捕获语义流,这些类型被形式化为邻接矩阵。
首先,为了保持抽象概念与详细内容之间的联系,我们建立了一个绑定矩阵 B ∈ R^(|VP|×|VSum|),其中在段落 pk 与其对应的摘要 suml 之间分配一个强双向链接 (Blk = λ)。其次,为了捕获宏观主题,我们定义了一个抽象矩阵 A ∈ {0,1}^(|VSum|×|VE|),其中如果摘要 suml 提及实体 ej,则 Alj = 1。第三,为了捕获微观细节,我们定义了一个提及矩阵 M ∈ {0,1}^(|VS|×|VE|),其中如果句子 si 提及实体 ej,则 Mij = 1。最后,与 LinearRAG 将段落-实体关系视为二元的做法不同,我们在索引期间预计算语义相关性,以构建一个加权包含矩阵 C ∈ R^(|VP|×|VE|)。我们使用实体 ej 在段落 pk 内的归一化词频 (TF) 来定义权重 Ckj:
Ckj = count(ej, pk) / Σ_{e'∈pk} count(e', pk). (2)
这种设计在保持图构建的线性可扩展性的同时,丰富了拓扑信息。通过将 C 和 B 存储为加权稀疏矩阵,同时保持 M 和 A 为二进制,我们确保了对大规模语料库的高效内存使用。
### 3.3 双粒度实体激活
当查询抽象或使用不同术语时,直接的实体匹配通常会错过相关上下文。为了解决这个问题,我们提出了一种双粒度激活机制,该机制综合来自微观细节和宏观主题的相关性信号。给定一个查询 q 及其嵌入 hq,我们计算一个激活向量 a^(0) ∈ R^(|VE|)。对于每个候选实体 ej,其得分来自两个并行分支的最大激活值:
aj^(0) = max( Smicro(q, ej), Smacro(q, ej) )。相似文章
ReasoningFlow: 用于理解LLM推理轨迹的篇章结构
介绍 ReasoningFlow,一个将大语言模型推理轨迹的篇章结构捕获为有向无环图的框架,从而能够细粒度分析推理行为(如自我反思和回溯)。基于对数千条轨迹的手动和自动标注,揭示了模型之间的结构相似性,并且大多数错误步骤并不贡献于最终答案。
上下文感知与关系感知的图检索增强生成的统一框架
本文提出了HyGRAG,一种层次化图RAG框架,整合了上下文与关系信息以支持多跳推理,在现有方法基础上实现了平均准确率提升9.7%。
Flow Reasoning Models: 通过迭代自我精化扩展推理能力
Flow Reasoning Models (FRMs) 为离散流模型在结构化推理任务上引入了一个训练和测试时扩展框架。通过使用 self-verification 和 self-conditioning,FRMs 在 Sudoku 和 Zebra 谜题上达到了近乎100%的求解率,而所需的迭代次数远少于之前的基准模型。
LatentRAG:用于高效智能体 RAG 的潜在推理与检索
LatentRAG 是一个新颖的框架,将智能体 RAG 的推理与检索过程转移至连续的潜在空间,在保持与显式方法相当的性能的同时,将推理延迟降低了约 90%。
工具即连续流:用于演进式智能体推理
本文介绍了 FlowAgent,这是一个新颖的框架,它利用条件流匹配将工具链重新概念化为连续轨迹生成,以提高长时序智能体推理的鲁棒性。