RSF-GLLM: 通过递归软流与解耦LLM生成弥合多跳知识图谱问答中的语义鸿沟

# RSF-GLLM：通过递归软流与解耦大语言模型生成弥合多跳知识图谱问答中的语义鸿沟

来源：https://arxiv.org/html/2607.06527

###### 摘要

多跳知识图谱问答面临一个关键挑战：传统的检索-然后-阅读流程破坏了可微性，阻止了检索器学习弥合中间节点与查询缺乏词汇重叠时的语义鸿沟。为了解决这个问题，我们提出了RSF-GLLM，一个将可微图推理与答案生成解耦的框架。我们的递归软流模块采用GRU引导的查询更新器传播连续相关性分数，利用动态门控机制通过结构线索遍历语义不相似的桥接节点。我们引入流稀疏正则化，从理论上保证从软概率收敛到离散推理路径。这些路径被提取并文本化，用于微调大语言模型，确保生成基于事实拓扑。在WebQSP和CWQ上的实验表明，RSF-GLLM在推理效率上优于基于大语言模型的计算昂贵方法，同时取得了有竞争力的性能。

机器学习，ICML

## 1 引言

在结构化知识库上进行推理以回答复杂的多跳查询，是人工智能领域的一项基础性挑战，对于需要高事实精确度的应用（如生物医学发现和金融审计）至关重要 (Wang 等, 2021)。虽然大语言模型在开放领域任务中表现出了卓越的流畅性 (Brown 等, 2020)，但它们经常在处理长尾知识或复杂逻辑链时出现幻觉和不忠实的推理 (Ji 等, 2023; Nandy & Bandyopadhyay, 2025)。因此，知识图谱在将生成基于可验证事实方面仍然不可或缺 (Hogan 等, 2021; Nandy & Bandyopadhyay, 2025)。然而，有效的知识图谱检索受到**语义鸿沟**的阻碍。考虑查询：“《盗梦空间》的导演获得了哪些奖项？”要回答这个问题，系统必须从主题实体“《盗梦空间》”遍历到中间节点“克里斯托弗·诺兰”（导演），最后到达“奥斯卡奖”。关键在于，中间桥梁实体“克里斯托弗·诺兰”与查询词“奖项”或“获得”没有任何词汇重叠，使得标准的基于相似度的遍历无效 (Sun 等, 2018; Xiong 等, 2017)。

当前的知识图谱问答方法实际上分为两个范式，每个范式利用不同的归纳偏差，但都受到互补性限制。第一类包括**迭代子图检索**方法，例如 GraftNet (Sun 等, 2018)、PullNet (Sun 等, 2019) 和 NSM (He 等, 2021)。这些架构通常将推理视为离散的**检索-然后-阅读**过程 (Karpukhin 等, 2020)。然而，每跳处节点的离散选择破坏了端到端的可微性，阻止了检索器适应下游错误 (Kim 等, 2023)。此外，严格的实体链接要求常常导致这些模型在所需的**桥接**节点与查询文本语义不相似时失败 (Liang 等, 2024)。

第二类较新的范式直接整合了大语言模型的**生成能力**。诸如思维图谱 (Besta 等, 2024) 和 RoG (Luo 等, 2024) 等框架试图通过将大语言模型推理结构化为迭代图遍历来提高表达性。然而，这些基于智能体的方法会带来高昂的计算成本，通常需要多次通过数十亿参数的模型才能回答单个查询 (Sun 等, 2024)。此外，尽管 Self-RAG (Asai 等, 2024) 和 CRAG (Yan 等, 2024) 等方法引入了基于批评的循环来检测幻觉，但它们仍然存在**推理捷径**问题：生成器经常忽略检索到的结构约束，而倾向于其预训练的参数记忆，从而损害了事实基础 (Li 等, 2024; Gao 等, 2023)。

为了协调可微遍历的结构严谨性与可扩展部署所需的效率，我们提出了**RSF-GLLM**（递归软流图到大语言模型）。与 monolithic 的端到端架构不同，我们的框架将推理与生成解耦。我们首先引入一个**递归软流**模块，这是一个轻量级的可微推理器，由**递归查询更新器** (Hudson & Manning, 2019) 引导传播连续概率质量。为了弥合语义鸿沟，我们设计了一个**动态门控机制**，调节节点内容与图拓扑的影响，使模型能够仅通过有效的结构关系遍历语义不相交的节点。关键在于，我们施加了**流稀疏正则化** (Jang 等, 2017)，迫使这些连续分布收敛到离散推理路径，确保可解释性。

以下是本论文的**贡献**：

- **可微知识图谱问答中的语义鸿沟：** 我们识别并形式化了现有可微多跳知识图谱问答模型中的一个关键失败模式：语义鸿沟，即在中间跳上强制语义相似性会抑制通过语义不相交的桥梁实体的有效推理路径。
- **动态结构-语义解耦：** 我们提出了递归软流，一个可微图推理模块，引入动态门控机制自适应地解耦结构传播与语义匹配。这使得模型在语义信号具有误导性时能够纯粹依赖图拓扑，仅在需要消歧时重新引入内容偏差。
- **有原则的稀疏性以实现可解释且忠实的推理路径：** 我们引入基于熵的流稀疏正则化，并提供理论分析表明它激励从软相关分布收敛到离散、可解释的推理路径，从而在不牺牲可微性的情况下实现**可证明**忠实的路径提取。
- **解耦的图到大语言模型架构，实现高效的基于基础的问答：** 我们提出了一个两阶段的图到大语言模型框架，干净地将图推理与答案生成解耦。一个轻量级可微图模块执行所有结构推理，而大语言模型仅作为基于提取推理路径的条件生成器——避免了昂贵的智能体推理循环。
- **在准确性、鲁棒性和效率方面的实证验证：** 在 WebQSP 和 CWQ 上的大量实验表明，RSF-GLLM 实现了有竞争力的准确性，在语义鸿沟重的查询上表现出鲁棒性能，并且相比近期的以大语言模型为中心和基于智能体的知识图谱问答基线，推理效率提高了多个数量级。

参见图注

图1：RSF-GLLM 的总体流程图

## 2 方法论

### 2.1 问题形式化

我们将知识图谱上的多跳问答形式化为一个基于路径的生成任务。令 $\mathcal{G}=(\mathcal{V},\mathcal{R},\mathcal{E})$ 为一个知识图谱，其中 $\mathcal{V}$ 是实体集合，$\mathcal{R}$ 是关系类型集合，$\mathcal{E} \subseteq \mathcal{V} \times \mathcal{R} \times \mathcal{V}$ 是事实三元组集合。给定一个自然语言查询 $Q$，目标是生成一个源自 $\mathcal{G}$ 内推理链的答案 $A$。与检索非结构化文本段落的标准检索增强生成不同，我们旨在发现一个结构化的推理路径 $P=(v_0, r_1, v_1, \dots, r_T, v_T)$，其中 $v_0$ 是在 $Q$ 中识别出的主题实体，使得：

1. 每一步 $(v_{t-1}, r_t, v_t) \in \mathcal{E}$ 是 $\mathcal{G}$ 中的有效三元组。
2. 路径 $P$ 在语义上弥合了查询意图与答案节点 $v_T$ 之间的差距。

最终答案 $A$ 通过最大化概率 $P(A \mid Q, P)$ 生成，确保生成无幻觉且严格基于图拓扑。

我们解决的核心挑战是中间节点 $v_t$（对于 $0 < t < T$）可能与查询没有清晰的词汇或语义重叠，这通常被称为**语义鸿沟**问题。

### 2.2 递归软流模块

**概述。** 递归软流模块是一个轻量级、完全可微的图推理器，它将多跳推理视为一个结构化状态传播过程。与离散选择不同，它维护一个连续概率分布，指示每个实体在给定推理步数内成为答案的可能性。该模块的核心组件是：

**组件 1：递归查询更新器。** 在每一跳 $t$，我们维护一个隐藏的查询状态 $h_t$，该状态通过门控循环单元更新。给定初始查询嵌入 $h_0 = \text{Enc}(Q)$，我们更新：

$$h_t = \text{GRU}(h_{t-1}, \tilde{q}_t)$$

其中 $\tilde{q}_t$ 是第 $t$ 跳的上下文查询表示，由软注意力于实体 $v_{t-1}$ 的邻居状态上计算得出。

**组件 2：动态门控机制。** 为了弥合语义鸿沟，我们引入了可学习的门控函数，调节拓扑结构与节点语义贡献的平衡。对于边 $(u, r, v)$，我们计算：

$$g_{uv}^{(t)} = \sigma(W_g [h_t \oplus e_u \oplus e_r \oplus e_v])$$

其中 $\sigma$ 是 sigmoid 函数，$W_g$ 是权重矩阵，$e_u, e_r, e_v$ 分别是源实体、关系和目标实体的嵌入。门控值 $g_{uv}^{(t)}$ 调节通过该边的信息流，使得模型可以在语义相似性缺失时依赖图拓扑。

**组件 3：软概率传播。** 在第 $t$ 跳，每个实体 $v$ 的相对分数 $\pi_v^{(t)}$ 通过聚合入边消息计算：

$$\pi_v^{(t)} = \phi\left(\sum_{u \in \mathcal{N}_{\text{in}}(v)} \text{Softmax}_u(\text{score}(h_t, e_u)) \cdot g_{uv}^{(t)} \cdot \pi_u^{(t-1)}\right)$$

其中 $\phi$ 是一个归一化函数，$\mathcal{N}_{\text{in}}(v)$ 是 $v$ 的前驱节点集。这个递归过程确保连续概率在图上传播，即使经过语义不相似的桥接节点也能保持信息。

### 2.3 流稀疏正则化

虽然软传播使端到端训练成为可能，但它可能产生模糊的分布，难以提取出离散的推理路径。为了解决这个问题，我们引入了**流稀疏正则化**。我们定义每个实体 $v$ 在推理链上的概率分布为：

$$P(v \mid Q) = \frac{\exp(\pi_v^{(T)} / \tau)}{\sum_{u \in \mathcal{V}} \exp(\pi_u^{(T)} / \tau)}$$

其中 $\tau$ 是温度参数。我们最小化该分布的熵：

$$\mathcal{L}_{\text{sparsity}} = - \sum_{v \in \mathcal{V}} P(v \mid Q) \log P(v \mid Q)$$

**定理 1（收敛性）。** 设 $\Phi^{(T)}$ 为 $T$ 跳后软概率的熵。当且仅当通过门控函数 $g_{uv}^{(t)}$ 传播的流收敛到单一实体 $v_T$ 时，$\Phi^{(T)}$ 达到其下界 $0$。此外，在正则化参数 $\lambda_1 > 0$ 下，梯度更新保证 $\Phi^{(T)}$ 以速率 $O(1/t)$ 向 $0$ 递减。

该定理为从软分布中提取离散路径提供了理论保证。在训练过程中，通过优化总损失 $\mathcal{L} = \mathcal{L}_{\text{QA}} + \lambda_1 \mathcal{L}_{\text{sparsity}}$，我们鼓励模型收敛到清晰的、可解释的推理链条。

### 2.4 基于路径的答案生成

一旦软概率分布通过流稀疏正则化收敛到离散路径，我们将这些路径提取并文本化，作为大语言模型生成答案的结构化上下文。

**离散路径提取。** 我们通过一个从具有最高概率的候选答案节点 $v_T$ 向主题实体 $v_{\text{topic}}$ 回溯的过程提取推理路径。选择概率最高的前 $k$ 个答案节点作为候选。对于每个候选，我们应用**贪心回溯**：从 $v_T$ 开始，每一步回溯到贡献概率最大的前驱节点 $v_{t-1}$。重复此过程直到达到主题实体 $v_{\text{topic}}$。这产生了离散的推理路径 $P = (v_0, r_1, v_1, \dots, r_T, v_T)$。

**定理 2（路径的拓扑保真性）。** 如果流稀疏正则化使 $\Phi^{(T)}$ 收敛到 $0$，那么存在至少一条节点 $v_T$，其 $\pi_{v_T}^{(T)} > 0$。由 $v_{t-1} = \arg\max_{u \in \mathcal{N}_{\text{in}}(v_t)} \pi_u^{(t-1)}$ 定义的贪心回溯过程，保证了可以重构出一条连续的、有效的路径 $P = (v_0, \dots, v_T)$，连接源实体 $v_{\text{topic}}$ 到 $v_T$，步数限制在 $T$ 内。

该定理提供了事实基础的关键保证。它确保我们流水线生成的每个答案都由知识图谱中存在的显式、可验证的推理链支持。与可能无法连接端点的启发式搜索方法或存在幻觉风险的大语言模型方法不同，我们的基于流的回溯在数学上保证了连通性，从而在设计上强制执行结构忠实性。

## 3 实验

我们在两个需要知识图谱多跳推理的基准上评估 RSF-GLLM。我们的实验旨在验证：（1）解耦的**图到大语言模型**方法优于僵化的检索器、易产生幻觉的大语言模型和极其昂贵的基于智能体的方法；（2）我们轻量级 RSF 模块带来的效率提升；（3）我们理论主张和模型消融实验的实证有效性。

### 3.1 实验设置

**数据集。** 我们使用两个标准的知识图谱问答基准：**WebQSP** (Yih 等, 2016)：包含约 4,700 个来自谷歌搜索的查询。它需要最多 2 跳推理，特点是语义多样性高。**CWQ** (复杂网络问题) (Talmor & Berant, 2018)：一个专注于复杂、组合查询的数据集，需要最多 4 跳推理。它作为对递归查询更新器在长链上保持状态能力的压力测试。

**基线。** 所有基线列于表 1，并在附录 C 中讨论。我们仅选择了使用与 Qwen3-8B 参数数量相似的开源大语言模型的基线，以保证公平比较。报告的数字主要来自源论文。

**实现细节。** RSF-GLLM 使用 PyTorch Geometric 在 PyTorch 中实现。遵循 RoG (Luo 等, 2024)，我们使用预处理过的 WebQSP 和 CWQ 数据集，实体已预链接到 Freebase。我们通过 BFS 提取 $K$ 跳子图（WebQSP 取 $K=2$，CWQ 取 $K=4$）。节点和关系嵌入来自 Qwen3-Embedding。RSF 模块使用 AdamW 训练最多 10 个 epoch（学习率 $5 \times 10^{-5}$，权重衰减 0.01，$\lambda_1 = 0.1$）。对于大语言模型阅读器，我们使用 Qwen3-8B 并输入提取的推理路径。我们按照标准评估指标报告 Hit@1 和 F1。所有实验使用单个 NVIDIA A100 GPU。基线细节见附录 C。

表 1：WebQSP 和 CWQ 基准上的性能比较。最佳结果以**粗体**显示，第二佳结果以下划线显示。“Agentic Search”类别（阴影区域）依赖于计算昂贵的迭代大语言模型调用，作为 oracle 风格的上界。RSF-GLLM 使用 Qwen3-8B 或 LLaMa-2-7B 作为大语言模型答案生成器。

### 3.2 主要性能结果

表 1 展示了在 WebQSP 和 CWQ 上的性能比较。我们提出的 RSF-GLLM 在 WebQSP 上取得了 Hit@1 的最先进结果，并在复杂的 CWQ 基准上取得了有竞争力的性能，验证了将可微图推理与大语言模型生成解耦的有效性。

**与最先进的大语言模型+知识图谱方法比较：** RSF-GLLM 在**大语言模型 + 知识图谱**类别中，在答案准确率（Hit@1）上展现出稳健的优越性。在 WebQSP 上，我们实现了 **90.45%** 的 Hit@1，显著优于 RoG（85.7%）、GNN-RAG（80.6%）和 DECAF（82.1%）。RSF-GLLM 在 F1 上也超越了 DECAF（79.15% vs. 78.8%），表明我们的框架同时在 Hit@1 和 F1 指标上取得了更优性能。关键在于，我们的性能是以更高的效率实现的。GNN-RAG 和 DECAF 等方法需要繁重的检索增强生成流水线或多次大语言模型调用，而 RSF-GLLM 采用轻量级、可微的 RSF 模块进行路径提取。这使得我们只需**单次大语言模型调用**即可生成最终答案，大幅降低了计算开销，同时保持了高度的结构基础。例如，RSF-GLLM 在 A100 80GB 机器上每个问题的平均推理时间约为 0.25 秒，远快于其他竞争性的基线。

**与 Agentic Search（Oracle 基线）的比较：** Agentic Search 类别（表 1 中的阴影区域）将知识图谱遍历视为涉及迭代大语言模型调用的序贯决策过程（例如，FD-PORT 需要 50 次以上调用）。我们将这些方法视为高成本的**oracles**。值得注意的是，RSF-GLLM 在 WebQSP 上超越了这些计算昂贵的框架（90.45% vs. FD-PORT 的 89.2%）。这表明我们的可微递归软流机制能够有效捕获类似于基于智能体的规划的复杂推理结构，但延迟和成本却低得多。

**关于 WebQSP–CWQ 的 Hit@1 差距说明。** WebQSP（90.45%）和 CWQ（67.39%）之间的原始 Hit@1 差距部分反映了数据集的结构特性，而非推理限制。在所有基于检索的基线采用的标准 $K$ 跳 BFS 子图构建下，CWQ 测试问题中有 19.3% 的黄金答案实体位于提取的子图之外，为 CWQ 设置了大约 80.7% 的理论 Hit@1 上限。WebQSP 在 $K=2$ 下的覆盖率为 95.7%，自然具有更高的上限。因此，观察到的跨数据集 Hit@1 差距很大一部分可归因于子图覆盖限制，而非模型失败；第 4 节中讨论的动态波束扩展扩展正是为了缓解 $K$ 跳瓶颈问题。

表 2：检索效率与性能比较。效率列（参数量、时间、内存）在 CWQ 上训练 1 个 epoch 时测量。#LLM 表示严格在路径检索阶段所需的大语言模型调用次数。