基于外部子图生成的大语言模型逐步推理增强

# 通过外部子图生成实现大语言模型的逐步推理增强

来源：https://arxiv.org/html/2606.04454

Xin Zhang¹，Yang Cao²，Baoxing Wu¹，Kai Song²，Siying Li¹ ¹重庆交通大学信息科学与工程学院 ²重庆邮电大学计算机科学与技术学院

###### 摘要

大语言模型在自然语言生成和下游推理任务中表现出色，但在复杂多步推理中仍面临逻辑一致性、事实依据和可解释性方面的挑战。为此，本文提出 SGR——一种通过查询相关子图生成将大语言模型与外部知识图谱相结合的逐步推理增强框架。给定输入问题后，SGR 首先提取关键实体、关系和约束条件以构建结构化模式，再通过模式引导查询从知识图谱中检索紧凑子图。生成的子图提供了显式的关系证据，引导语言模型逐步完成推理。此外，SGR 将基于 Cypher 的直接推理与协作推理集成相结合，能够根据模型置信度和图一致性对多条推理路径的候选答案进行验证与聚合。在 CWQ、WebQSP、GrailQA 和 KQA Pro 等基准数据集上的实验表明，SGR 在推理准确率和 Hits@1 性能上均优于标准提示方法及多个知识增强基线。消融实验进一步证明，模式引导和基于 Neo4j 的检索对框架的有效性均至关重要。上述结果表明，动态生成的外部子图能够提升基于 LLM 的推理的准确性、鲁棒性和可解释性。

通过外部子图生成实现大语言模型的逐步推理增强

## 1 引言

大语言模型（LLMs）在自然语言理解、生成和少样本学习方面取得了显著成就，在众多下游任务中展现出强大的泛化能力（Brown et al., 2020 (https://arxiv.org/html/2606.04454#bib.bib1)）。思维链推理等提示策略使 LLMs 能够将复杂问题分解为中间步骤，从而进一步提升多步推理任务的性能（Wei et al., 2022 (https://arxiv.org/html/2606.04454#bib.bib2)）。尽管如此，LLMs 在求解知识密集型推理问题时仍存在明显局限：输出结果可能缺乏事实依据、逻辑不一致，或推理过程难以验证。在需要依赖多个实体、关系和约束条件才能得出正确答案的复杂问答场景中，这些问题尤为突出。此外，由于 LLMs 的推理过程往往是隐式的，如何确保推理的忠实可解释性、追溯支撑答案的证据仍是一大挑战（Jacovi and Goldberg, 2020 (https://arxiv.org/html/2606.04454#bib.bib3)）。

知识图谱为解决上述挑战提供了一条有效途径——它将实体和关系表示为结构化三元组，支持对外部知识进行显式且可验证的推理（Ji et al., 2021 (https://arxiv.org/html/2606.04454#bib.bib4)）。在知识密集型问答领域，Freebase 等结构化资源已被广泛用于支持多跳推理并提升事实可靠性（Yao and Van Durme, 2014 (https://arxiv.org/html/2606.04454#bib.bib6)）。检索增强生成进一步表明，向语言模型提供外部证据可以提升其在知识密集型任务上的表现（Lewis et al., 2020 (https://arxiv.org/html/2606.04454#bib.bib5)）。然而，传统检索方法通常依赖非结构化段落或松散关联的事实，往往无法保留复杂推理所需的关系依赖。因此，近期研究开始探索更结构化的推理形式，包括逻辑引导的转换、审慎规划，以及 LLMs 与知识源之间基于图的交互（Yang et al., 2024 (https://arxiv.org/html/2606.04454#bib.bib21); Xiong et al., 2025 (https://arxiv.org/html/2606.04454#bib.bib24); Jiang et al., 2023 (https://arxiv.org/html/2606.04454#bib.bib11); Yao et al., 2023 (https://arxiv.org/html/2606.04454#bib.bib7)）。然而，如何动态构建紧凑的、与查询相关的图证据，并利用其引导忠实的逐步推理，仍是一个待解决的开放性问题。

为解决这一问题，我们提出 SGR——一种通过动态生成知识图谱外部子图来增强 LLM 推理能力的逐步推理增强框架。SGR 不再单纯依赖模型参数中存储的隐式知识，或仅检索孤立的文本证据，而是首先将输入问题转换为包含关键实体、关系和约束条件的结构化模式，再利用该模式从外部知识图谱中检索紧凑的查询相关子图。生成的子图提供了显式的关系证据，使 LLM 能够沿可验证的知识路径逐步推理。

SGR 进一步融合了两种互补的推理策略。第一，直接推理增强：将生成的模式转化为 Cypher 查询并在 Neo4j 中执行，以获取基于知识图谱的候选答案。第二，协作推理集成：根据语言模型置信度和图一致性对候选推理路径进行验证与聚合。通过这种方式，SGR 不仅提升了事实依据，还降低了无支撑推理的风险，增强了最终答案的可解释性。

本文的主要贡献概括如下：第一，提出了一种将 LLMs 与动态生成的外部子图相结合、面向知识密集型问答的逐步推理增强框架；第二，提出了一种模式引导的子图生成策略，通过提取与查询相关的实体、关系和约束条件，从知识图谱中检索紧凑的结构化证据；第三，设计了一种协作推理集成机制，将基于 Cypher 的直接推理与多条推理路径的图一致性验证相结合；最后，在 CWQ、WebQSP、GrailQA 和 KQA Pro 上的实验表明，SGR 在 Hits@1 和准确率上均优于标准提示方法及多个知识增强基线，消融实验也证实了模式引导和基于 Neo4j 的检索的重要性。

## 2 相关工作

### 2.1 知识增强语言模型

知识图谱长期以来被用作表示实体、关系和事实三元组的结构化资源。关于知识图谱关系机器学习的早期研究为将实体和关系嵌入连续空间、对结构化知识进行链接预测和推理奠定了基础（Nickel et al., 2015 (https://arxiv.org/html/2606.04454#bib.bib8)）。随着预训练语言模型的发展，研究人员开始探索如何将外部知识注入语言表示中。ERNIE 将知识信息融入 BERT 式预训练，表明以实体感知的表示学习能够提升语言理解任务的性能（Sun et al., 2019 (https://arxiv.org/html/2606.04454#bib.bib9)）。更广泛地说，知识增强预训练语言模型旨在将符号知识与分布式表示相结合，使模型能够更好地捕获纯文本预训练之外的事实和关系信息（Hu et al., 2023 (https://arxiv.org/html/2606.04454#bib.bib10)）。

除表示学习外，知识图谱上的逻辑推理也被作为提升可解释性和多跳推理的手段加以研究。TILP 以可微分方式学习知识图谱上的时序逻辑规则，展示了显式规则结构对时序推理的价值（Xiong et al., (https://arxiv.org/html/2606.04454#bib.bib25)）。TEILP 进一步将这一方向拓展至利用逻辑推理进行知识图谱时间预测（Xiong et al., 2024b (https://arxiv.org/html/2606.04454#bib.bib26)）。近期研究还表明，大语言模型在经过适当训练或提示后能够获得时序推理能力，这说明神经模型与结构化时序知识可以相互补充（Xiong et al., 2024a (https://arxiv.org/html/2606.04454#bib.bib22)）。上述研究为我们利用外部子图作为显式结构化证据、提升 LLM 推理的事实依据和可解释性提供了动机。

### 2.2 检索增强与知识密集型推理

检索增强模型通过在推理或预训练阶段提供外部证据来改善语言生成效果。检索增强生成（Retrieval-Augmented Generation）从外部语料库中检索相关段落，并以检索到的证据为条件进行生成，从而提升知识密集型 NLP 任务的性能（Lewis et al., 2020 (https://arxiv.org/html/2606.04454#bib.bib5)）。REALM 将检索引入语言模型预训练，使模型能够从大型语料库中检索文档并用于预测（Guu et al., 2020 (https://arxiv.org/html/2606.04454#bib.bib17)）。在开放域问答中，多步检索器-阅读器框架迭代地检索和阅读证据，有助于回答需要多个支撑事实的复杂问题（Das et al., 2019 (https://arxiv.org/html/2606.04454#bib.bib18)）。Fusion-in-Decoder 进一步表明，生成式模型可以通过分别编码多个检索段落并在解码阶段融合证据，从而有效利用多段检索结果（Izacard and Grave, 2021 (https://arxiv.org/html/2606.04454#bib.bib13)）。

多个基准和系统已被提出用于评估知识密集型推理。KILT 提供了一个统一的知识密集型语言任务基准，强调将模型输出与外部来源对齐的重要性（Petroni et al., 2021 (https://arxiv.org/html/2606.04454#bib.bib19)）。面向表格与文本的开放问答探索了跨异构证据类型的推理，表明复杂问答往往需要结合结构化与非结构化信息（Chen et al., 2020 (https://arxiv.org/html/2606.04454#bib.bib12)）。知识增强提示方法进一步表明，LLMs 在零样本 KGQA 场景中能够受益于从知识图谱中显式检索的知识（Baek et al., 2023 (https://arxiv.org/html/2606.04454#bib.bib16)）。与上述方法相比，我们的框架专注于动态生成紧凑的查询相关子图，而非检索孤立的文本段落或松散关联的事实，从而使模型能够在显式关系路径上进行推理，更好地保留多跳问答所需的结构依赖。

### 2.3 基于 LLMs 的结构化与协作推理

近期研究日益关注如何以结构化推理过程引导 LLMs。最少到最多提示（Least-to-most prompting）将复杂问题分解为更简单的子问题并依次求解，表明逐步推理能够提升模型在困难任务上的表现（Zhou et al., 2022 (https://arxiv.org/html/2606.04454#bib.bib20)）。StructGPT 提供了一个通用框架，通过迭代读取和推理操作使 LLMs 能够对结构化数据进行推理（Jiang et al., 2023 (https://arxiv.org/html/2606.04454#bib.bib11)）。图推理增强语言模型将图神经推理融入语言模型用于问答，展示了显式建模关系结构的优势（Zhang et al., 2022 (https://arxiv.org/html/2606.04454#bib.bib14)）。

另一个重要方向是 LLMs 与知识图谱之间的协作推理。近期综述和路线图认为，LLMs 与知识图谱具有互补优势：LLMs 提供灵活的语言理解与生成能力，而知识图谱则提供精确、可解释且可验证的结构化知识（Pan et al., 2024 (https://arxiv.org/html/2606.04454#bib.bib15)）。这种互补性在复杂知识密集型问答中尤为重要，因为此类推理往往既需要对问题的语义理解，又需要对实体-关系路径的忠实遍历。我们提出的 SGR 框架遵循这一方向，将基于 LLM 的模式构建、基于 Cypher 的图查询和协作答案验证相整合。与仅依赖检索段落或直接提示的方法不同，SGR 利用生成的外部子图支持逐步推理，并根据模型置信度和图一致性聚合候选答案。由此，SGR 旨在不仅提升答案准确性，还提高推理过程的透明度和可靠性。

参见图注图 1：SGR 框架流程图。

## 3 方法

### 3.1 结构化子图生成

#### 3.1.1 知识图谱构建

SGR 以外部知识图谱作为生成查询相关证据的结构化推理来源。知识图谱表示为

$$\mathcal{G}=(\mathcal{V},\mathcal{E},\mathcal{R}),\quad(1)$$

其中 $\mathcal{V}$ 表示实体集合，$\mathcal{R}$ 表示关系类型集合，$\mathcal{E}$ 表示事实三元组集合。图中每条边表示为一个三元组，其中 $h,t\in\mathcal{V}$ 分别为头实体和尾实体，$r\in\mathcal{R}$ 为连接二者的关系。这种基于三元组的表示使 SGR 能够显式建模实体间的事实依赖，并为多跳推理提供可验证的基础。

为支持高效的图查询，提取出的三元组被存储于 Neo4j 中。实体建模为图节点，关系建模为节点间的有向边。每个节点包含实体名称、类型和标识符等属性，每条边包含对应的关系标签及可选的约束信息。这一构建方式使系统能够通过 Cypher 查询检索路径、邻域及带约束的关系模式。

给定输入问题 $q$，SGR 首先识别问题特定模式

$$\mathcal{S}_{q}=\{\mathcal{V}_{q},\mathcal{R}_{q},\mathcal{C}_{q}\},\quad(3)$$

其中 $\mathcal{V}_{q}$ 为已链接实体集合，$\mathcal{R}_{q}$ 为候选关系集合，$\mathcal{C}_{q}$ 为约束条件集合（如实体类型、时间限制、比较条件或数值约束）。该模式充当自然语言问题与外部知识图谱之间的中间结构化表示。

实体链接模块将问题中的提及映射到 $\mathcal{G}$ 中对应的节点。关系抽取随后识别连接已链接实体与潜在答案节点的可能谓词。约束提取进一步捕获图检索过程中必须满足的语义条件。例如，对于涉及时间、地点、排名或聚合的问题，相应约束被加入 $\mathcal{C}_{q}$，并在后续用于过滤候选推理路径。

通过上述构建过程，完整的知识图谱被转化为可检索的结构化空间。