Search-on-Graph-R1：使用强化学习训练大型语言模型搜索知识图谱

# 基于强化学习的图知识搜索：训练大语言模型在知识图谱中进行搜索
来源：https://arxiv.org/html/2607.18481
孙嘉奥¹,² 郝宇³,² 莫丰然¹ 苏展⁴ 惠宇辰¹ 刘榜¹,²,⁵ 聂建云¹

¹蒙特利尔大学 ²Mila – 魁北克人工智能研究所 ³麦吉尔大学 ⁴哈尔姆斯塔德大学学院 ⁵加拿大CIFAR人工智能主席

###### 摘要

知识图谱问答（KGQA）需要从主题实体出发，跨越若干关系寻找答案。现有方法通常提示前沿大语言模型通过检索工具探索图结构，但这些方法依赖大规模推理，部署成本高昂。我们提出 Search-on-Graph-R1（SoG-R1），该方法通过监督微调（SFT）和强化学习（RL）将这种导航能力内化到一个紧凑的8B模型中。我们的核心思路是：利用每个问题的黄金SPARQL查询作为脚手架，引导前沿教师模型沿着已知答案路径，使用实时搜索工具进行遍历，而非自行发现路径。由于每次调用都针对实时Freebase服务器执行，生成的轨迹天然基于知识图谱。在WebQSP、CWQ和GrailQA基准上，8B规模的SoG-R1在对比中超越了所有冻结的前沿大语言模型系统，并在CWQ上取得了所有对比系统中的最优结果。该方法在推理时不依赖任何辅助模块，训练过程中无需大语言模型评判器。各训练阶段的消融实验表明，SFT和RL贡献了互补性的增益；该方法跨模型族具有可迁移性；RL相比其SFT初始化版本，能够用更少的搜索调用次数找到答案。

## 1 引言

请参阅标题图1：SoG-R1概述。(A) 基于SPARQL脚手架生成的教师轨迹。我们以CWQ问题“什么是苹果树主要出口州的州首府？”为例：(1) 其黄金SPARQL查询展示给235B教师大语言模型。(2) 教师使用搜索工具，将查询作为遍历蓝图，发出导航知识图谱所需的工具调用，并针对实时Freebase服务器执行。(3) 生成的路径为：苹果树 → 公共节点 → 华盛顿州 → 奥林匹亚，即答案；教师需拒绝的干扰边已淡化。(4) 执行的调用及其结果被序列化为多轮教师轨迹，最终给出答案。(B) 学生后训练。两个分支均从同一现成的8B指令模型开始。*上方：* 在(A)中基于知识图谱的教师轨迹上使用LoRA SFT，得到SoG-SFT；使用相同搜索工具，从SoG-SFT初始化，并在（问题，黄金答案）对池上通过GRPO训练，得到SoG-R1。*下方：* 将相同的GRPO阶段直接应用于8B基础模型（无SFT），得到SoG-R1-Zero，即纯RL的消融版本。

大型语言模型（LLM）在通用推理方面表现出色，但在知识密集型任务上仍存在持续失效模式：它们的参数化知识不完整或过时，且难以验证（Ji et al., 2023；De Cao et al., 2021）。将LLM与知识图谱（KG）结合提供了一种原则性的解决方案（Pan et al., 2024）；KG编码了实体之间的显式、结构化关系，使得LLM代理能够在相连实体间“跳跃”，并恢复平面语义检索难以捕捉的多跳答案路径。越来越多的研究表明，通过提示前沿LLM使用结构化检索工具与KG交互，可以将推理与显式KG查询交替进行，并在复杂多跳KGQA基准上达到具有竞争力的准确率（Sun et al., 2024; Chen et al., 2024; Sun et al., 2025）。

然而，这些基于提示的方法全部依赖GPT-4级别的冻结前沿LLM，由于延迟、成本和访问限制，不适合生产部署。下一步是对较小的开源LLM进行后训练，教导其在KG上进行推理，以匹配这些前沿系统。一类方法将KGQA视为语义解析，训练模型生成完整的逻辑形式（例如s-表达式），并将其编译为可执行查询，在KG上运行（Ye et al., 2022; Luo et al., 2024a; Yu et al., 2023）。由于解析单次即提交到特定模式的实体关系，当黄金解析中包含训练未见过的模式元素时，这些方法会陷入困境。第二类方法将KG视为黑盒搜索环境，训练模型使用通用检索工具，类似于Search-R1（Jin et al., 2025）训练LLM查询网络搜索引擎而不记忆其索引。我们采用这种框架，从而得到的是KG上的导航策略，而非固定的解析。

两项同期工作采用了相同的框架，但将检索和推理保持分离。EoG（Yan et al., 2026）与我们共享两阶段SFT-RL流程，但它离线提取每个问题的子图，将其作为静态文本放在提示中，然后在该固定上下文中进行推理，从不发出查询；其准确率受限于模型无法影响的预处理步骤的召回率。KG-Hopper（Wang and Yu, 2026）确实实时查询KG，但其奖励循环依赖外部LLM评判器来评分推理轨迹并验证答案。两者都允许在检索不足时模型回退到参数化记忆，因此都无法保证其引用的事实存在于KG中。

SoG-R1则将检索和推理融合到单个循环中；模型本身在推理过程中决定获取什么，通过实时搜索调用，使得召回率成为导航的可学习属性，而非预处理的固定属性。为了冷启动这种行为，我们利用每个问题的黄金SPARQL查询作为脚手架来引导一个前沿教师模型（该查询出现在每个KGQA训练集中，但在推理时从不展示给学生模型），并使用学生模型将使用的相同实时搜索工具遍历已知答案路径。它产生的是教师轨迹：一系列已执行的搜索调用、返回的结果以及最终答案。由于每次调用都针对实时Freebase服务器执行，这些轨迹天然基于知识图谱。然后，我们在这些轨迹上微调一个紧凑的8B学生模型，并使用简单的结果奖励（无黄金路径监督或评判器参与奖励循环）通过GRPO（Shao et al., 2024）进一步改进。最终得到的8B代理在所有三个基准上超越了对比中的每个冻结前沿LLM系统，并在我们对比的所有系统（包括具有更大基座模型的后训练模型）中取得了CWQ上最强的准确率，而推理成本却低得多。

我们的贡献是：

- • 我们将推理时的SoG范式转化为单个紧凑模型的可学习行为，将KG遍历内化到8B学生模型的权重中，在训练或推理的任何阶段均无需辅助模块或LLM评判器。
- • 我们利用每个问题的黄金SPARQL查询（从不展示给学生模型）作为脚手架，引导前沿教师模型使用学生模型将使用的相同实时搜索工具遍历答案路径：每次调用都针对Freebase执行，因此冷启动轨迹天然基于KG。我们进一步将SoG工具按实体批量处理，消除了小规模下实体丢失的故障模式。
- • 我们在WebQSP、CWQ和GrailQA上进行评估，其中8B代理超越了每个冻结前沿LLM系统，并在我们的对比中取得了CWQ上最佳准确率。阶段消融实验表明SFT和RL贡献了互补性的增益，且RL在所有三个基准上均比其SFT初始化版本使用了更少的搜索调用次数来达到答案。

## 2 相关工作

我们根据执行推理和回答的LLM（在推理时）是否本身经过后训练来对KG增强的LLM方法进行分类。

#### 冻结LLM方法。

这些方法保持推理LLM固定，并通过提示和推理时编排提供KG访问：逐步导航器通过束搜索（Sun et al., 2024）、子目标规划（Chen et al., 2024）、多代理问题简化（Ma et al., 2025）、消息传递（Wan et al., 2025）、本体引导路径（Liu et al., 2025）或基于完整推理历史的工具调用（Sun et al., 2025）逐跳查询KG；另一些方法则编排冻结LLM进行无需训练、感知图的约束解码（Li et al., 2025）或现成检索（Li et al., 2024; Sui et al., 2025; Mavromatis et al., 2025）。第二条线保持推理LLM冻结，但训练一个小的专门助手来执行导航或剪枝：GNN用于2跳实体选择（Wang and Yu, 2025）、紧凑的剪枝或路径排序模型（Dong et al., 2025; Lin et al., 2025）、或RL策略/价值模型（Zhang and Zhao, 2025; Shen et al., 2025）。第三条线训练一个小型辅助LLM，但仍将生成答案的推理委托给冻结的前沿模型：GCR（Luo et al., 2025）训练一个小型LLM解码图约束路径，冻结的GPT-4o随后进行推理；PARoG（Shi et al., 2026）训练一个小型Llama-3.1-8B规划器，其子目标由冻结的GPT-4回答和细化；Rule-KBQA（Zhang et al., 2025）微调一个小型规则生成器，其离线挖掘的模板引导符号代理，冻结的GPT-4对每个构建步骤进行评分。在这三条线中，KG能力都保留在推理LLM的权重之外，因此准确率依赖于强大的（通常是前沿的）基座模型以及接口需要手工调整的辅助模块。

#### 后训练LLM方法。

语义解析方法微调LLM以生成基于KG的可执行逻辑形式（Luo et al., 2024a; Feng and He, 2025; Tian et al., 2025）；这些方法在推理时不依赖前沿模型，但受限于训练分布，因为模型一次提交即完成完整解析，没有机会根据图的实际内容进行修正。另一类方法则直接后训练LLM以遍历KG，使得推理时进行推理的模型正是被训练过的模型。KG-Agent（Jiang et al., 2025）在合成的工具调用轨迹上微调一个7B代理。一系列日益增多的同期系统将SFT-RL流水线应用于紧凑的KG推理器，但每个系统都在三个属性中放松了不同的一个：在精选知识库上的检索、实时查询（而非静态上下文）、以及作为轨迹确定性函数的奖励。Graph-R1（Luo et al., 2026）使用GRPO训练多轮检索策略，但用于GraphRAG设置，通过嵌入相似度对从文本中自我提取的超图进行检索，而非遍历精选知识库。EoG（Yan et al., 2026）在精选知识库上将检索和推理保持分离；它对放置在提示中的静态提取子图进行推理，从不发出查询，因此其引用的三元组不保证存在于KG中。KG-Hopper（Wang and Yu, 2026）为其代理配备了实时搜索工具，但其奖励循环依赖外部LLM评判器——一个70B评分器对每个推理轨迹进行打分，以及一个3B模型验证答案——使得训练信号具有随机性且依赖模型。EoG和KG-Hopper都允许模型在检索不足时回退到参数化记忆，因此都无法保证KG基于的答案。我们的SoG-R1则在一个紧凑模型中融合了检索和推理：检索是唯一的知识通道，不允许参数化回退，奖励是轨迹的确定性函数，在奖励循环中没有LLM评判器，推理时也没有合作模型。

## 3 知识图谱与知识图谱问答

知识图谱是一组事实三元组G = {(e, r, e′) | e, e′ ∈ E, r ∈ R}，其中E和R分别是实体和关系集合，每个三元组(e, r, e′)表示关系r在实体e和e′之间成立。知识图谱问答（KGQA）旨在使用G回答自然语言问题q；目标是识别回答q的实体集A_q ⊆ E。遵循先前工作（Sun et al., 2024; Chen et al., 2024; Sun et al., 2025），我们假设q中提及的主题实体E_q ⊆ E已经被识别并链接到G中的节点，并作为推理的起点。回答q很少是一步查找；答案通常距离主题实体若干关系，因此A_q只能通过G中的多跳路径达到，代理必须通过从E_q遍历图来发现该路径。

## 4 方法

SoG-R1通过三个顺序阶段构建，应用于一个紧凑的指令微调学生模型。
阶段1：基于SPARQL脚手架的冷启动轨迹生成（§4.2）。对于每个训练问题，前沿规模的教师LLM使用学生模型将在推理时使用的相同搜索工具遍历黄金答案路径，生成一系列工具调用和观察的多轮轨迹，最终给出答案，并以黄金SPARQL查询作为脚手架。
阶段2：监督微调（§4.3）。学生模型在收集的轨迹上进行LoRA微调，得到SoG-SFT。
阶段3：强化学习（§4.4）。SoG-SFT进一步通过GRPO进行训练，奖励结合了精确匹配正确性和轮数效率因子，得到SoG-R1。
在推理时，学生模型仅接收问题q和实体字典E_q（无SPARQL），并通过算法1的增强工具循环产生答案。

**算法1** SoG-R1推理