通过扩散模型生成知识图谱推理的图状规则

# 基于扩散模型生成用于知识图谱推理的图状规则
来源：https://arxiv.org/html/2605.30747
程浩翔，大数据与决策实验室，国防科技大学，长沙，中国，hx˙[email protected] (https://arxiv.org/html/2605.30747v1/mailto:hx%CB%[email protected])
王云飞，信息系统工程全国重点实验室，国防科技大学，长沙，中国，[email protected] (https://arxiv.org/html/2605.30747v1/mailto:[email protected])
陈超，大数据与决策实验室，国防科技大学，长沙，中国，[email protected] (https://arxiv.org/html/2605.30747v1/mailto:[email protected])
程科威，微软公司，雷德蒙德，美国，[email protected] (https://arxiv.org/html/2605.30747v1/mailto:[email protected])
林志鹏，计算机科学与技术学院，国防科技大学，长沙，中国，[email protected] (https://arxiv.org/html/2605.30747v1/mailto:[email protected])
李浩轩，数据科学中心，北京大学，北京，中国，[email protected] (https://arxiv.org/html/2605.30747v1/mailto:[email protected])
范长俊，大数据与决策实验室，国防科技大学，长沙，中国，[email protected] (https://arxiv.org/html/2605.30747v1/mailto:[email protected])
刘士轩，计算机科学与技术学院，国防科技大学，长沙，中国，[email protected] (https://arxiv.org/html/2605.30747v1/mailto:[email protected])

\(2026\)

###### 摘要

逻辑规则构成知识图谱（KG）推理的基石，因其可解释性和对关系模式的建模能力而备受重视。然而，现有的规则挖掘方法主要关注简单的链式规则，因此忽略了图状结构中编码的更丰富的关系信息，例如循环和分支。这种局限性因搜索空间组合爆炸导致的计算瓶颈而进一步加剧，这对于图状规则尤其具有挑战性。与此同时，生成式方法（如扩散模型）尽管在其他领域取得了成功，但不能直接应用于规则挖掘，因为它们的训练目标与学习高质量规则的目标不一致，并且不可微的KG规则质量指标无法直接指导模型优化。为了解决这些局限性，我们提出了GRiD，一个将图状规则发现重新表述为以目标关系为条件的离散生成过程的框架。GRiD采用两阶段训练策略。首先，监督预训练使GRiD能够从KG元图采样的子图中捕获结构先验。随后，应用强化学习通过策略梯度优化来微调GRiD，该优化直接由不可微的规则质量指标引导。在六个基准数据集上的实验表明，GRiD在KG补全任务上取得了具有竞争力的性能。消融研究证实了GRiD的效率和鲁棒性，并进一步表明图状规则在KG补全中补充了链式规则。我们的代码和数据集可在 https://github.com/Haoxiang-Cheng/GRiD 获取。

知识图谱推理，逻辑规则，扩散模型，强化学习

††期刊年份：2026††版权：cc††会议：第30届ACM SIGKDD知识发现与数据挖掘会议；2026年8月；韩国††论文集：第30届ACM SIGKDD知识发现与数据挖掘会议论文集（KDD '26），2026年8月13-17日，韩国††doi：10.1145/3770855.3817814††isbn：978-1-4503-XXXX-X/2026/08††ccs：计算方法 语义网络

## 1. 引言

知识图谱（KG）将知识表示为事实三元组\(e_h, r, e_t\)，并作为语义搜索和问答等智能系统的关键组件\(An et al., 2024 (https://arxiv.org/html/2605.30747#bib.bib2); Saxena et al., 2022 (https://arxiv.org/html/2605.30747#bib.bib34)\)。然而，KG本质上是不完整的，因此需要推理方法来推断缺失的事实。在各种范式中，基于规则的推理通过提供捕获关系依赖关系并实现透明推理的显式逻辑规则，提供了可解释性\(Ji et al., 2022 (https://arxiv.org/html/2605.30747#bib.bib16)\)。逻辑规则通常表达形式为\(\rho: \rho_h \leftarrow \rho_b\)的蕴含，其中规则头\(\rho_h\)可以从规则体原子\(\rho_b\)的合取中推断出来。在实践中，规则通常从观察到的路径实例中归纳出来，从而在模式语义和实例级证据之间建立直接联系。例如，如图1所示，规则\(\rho_1: \textit{BornIn}(x,z) \leftarrow \textit{WorksAt}(x,y) \land \textit{LocatedIn}(y,z)\)是从实例路径\(\textit{BornIn}(\text{Turing}, \text{UK}) \leftarrow \textit{WorksAt}(\text{Turing}, \text{Cambridge}) \land \textit{LocatedIn}(\text{Cambridge}, \text{UK})\)归纳出来的。这种基于实例的归纳产生了透明且可验证的推理路径，突出了基于规则方法的价值。

尽管具有透明性，传统的基于规则的方法主要局限于链式规则，即通过共享变量连接的关系序列\(Islam et al., 2022 (https://arxiv.org/html/2605.30747#bib.bib15)\)。虽然链式规则易于挖掘和应用，但其线性结构限制了它们表达更丰富关系模式的能力，例如合取或重叠约束。这种限制通常会导致在具有复杂模式的KG中出现模糊的预测。例如，应用链式规则\(\rho_1\)推断\(\textit{BornIn}(\text{Hinton}, ??)\)可能会产生多个候选答案，因为该规则无法区分与主体相关的多个候选工作地点。这种局限性源于链式规则无法共同强制执行多关系约束，这凸显了对更具判别力的规则结构的需求。

图状规则的规则体形成有向图而不是简单链，可以通过同时强制执行多个关系约束来解决这一局限性。例如，图状规则如\(\rho_2: \textit{BornIn}(x,z) \leftarrow \textit{WorksAt}(x, y) \land \textit{GraduatedFrom}(x, y) \land \textit{LocatedIn}(y, z)\)通过共享变量纳入联合证据，从而减少模糊性。然而，将规则学习从链式规则扩展到一般的图状结构会引入一个根本性的计算瓶颈。即使是挖掘简单的链式规则也涉及组合指数级搜索空间，对于长度\(L\)，通常是\(O(|R|^L)\)量级。而图状规则通过引入非线性依赖关系扩展了链，进一步将该空间扩展到\(O((L|R|)^L)\)。这个问题是基于搜索的范式所固有的，特别是那些从实例路径中提取规则的方法，因为遍历大型KG实例会带来大量的计算开销。因此，这一挑战促使从迭代搜索转向更高效的规则空间探索，这与最近将图结构组合优化公式化为可学习优化过程的研究一致\(Pu et al., 2024 (https://arxiv.org/html/2605.30747#bib.bib28)\)。

参考图1。虽然现有的基于规则的方法主要依赖链式结构，但这种结构不足以捕获KG中复杂的互连模式。图状规则提供了更具表达力的替代方案，但受到搜索空间指数级增长的阻碍。因此，我们提出了一种基于扩散的方法来高效生成规则。然而，这些模型的标准监督重建目标与发现语义高质量规则的目标不一致。因此，我们引入RL微调，利用基于结构质量的奖励直接优化生成策略，从而高效生成高质量的图状规则。

虽然基于搜索的规则发现受限于组合复杂性，但生成式方法最近作为替代方案出现。特别是扩散模型，在生成结构化数据时表现出有效性，同时保持鲁棒性和多样性。与可能遭受模式崩溃或过度平滑的生成对抗网络和变分自编码器不同\(Barannikov et al., 2021 (https://arxiv.org/html/2605.30747#bib.bib4)\)，扩散模型可以更稳定地覆盖复杂的输出空间。此外，虽然大型语言模型可能产生逻辑上无效的符号依赖关系\(Liu et al., 2025 (https://arxiv.org/html/2605.30747#bib.bib19)\)，但扩散模型可以结合显式约束来保持结构有效性。尽管如此，KG领域中现有的基于扩散的方法主要关注实例级任务，如事实补全，而不是发现显式的模式级逻辑模式\(Long et al., 2024b (https://arxiv.org/html/2605.30747#bib.bib21), a (https://arxiv.org/html/2605.30747#bib.bib20); Zhou et al., 2024 (https://arxiv.org/html/2605.30747#bib.bib47)\)。

将扩散模型从实例级重建适应到模式级规则归纳并非易事。一个核心挑战在于规则质量指标的不可微性。与优化可微重建损失的标准扩散训练不同，逻辑规则通常使用离散质量指标（如置信度和覆盖度）进行评估。这些指标不能直接反向传播，这导致了训练目标与生成规则的语义质量之间的不匹配。因此，简单应用扩散模型可能无法使生成与语义有意义的规则保持一致。

为了解决这些挑战，我们提出了GRiD，一个用于通过扩散模型生成图状规则以进行KG推理的框架。GRiD将规则发现重新表述为一个条件离散扩散过程，作用于规则体邻接矩阵。为了克服离散规则指标的不可微性，GRiD结合了强化学习（RL），使用规则质量指标作为奖励信号来微调扩散过程。然而，直接将RL应用于图状规则的组合空间通常会导致严重的样本低效问题。为了缓解这个问题，GRiD整合了一个监督学习（SL）预训练策略，该策略在从KG元图采样的子图上进行，为去噪网络提供图结构先验。通过结合SL进行结构模式识别和RL进行质量优化，GRiD能够高效生成高质量的图状规则。

本工作的贡献总结如下：

- • 我们提出了GRiD，一个将规则发现重新表述为使用扩散模型的条件生成过程的框架，将这项任务从离散搜索转变为生成建模。
- • 我们引入了一个两阶段训练策略，该策略使用SL预训练来学习结构先验，并使用RL微调来使用不可微的规则质量指标优化扩散模型。
- • 实验展示了GRiD在KGC任务上的有效性，而消融研究揭示了图状规则的互补效应及其有效性与KG结构特性之间的相关性。

## 2. 相关工作

### 2.1. 逻辑规则学习

逻辑规则学习是KG推理的主要范式之一，与基于嵌入和基于路径的方法并列\(Ji et al., 2022 (https://arxiv.org/html/2605.30747#bib.bib16)\)。与基于嵌入和基于路径的方法相比，基于规则的推理通过显式逻辑公式推导结论，提供了更高的可解释性。基于规则的推理应用预定义的逻辑公理和推理规则，从现有KG中推导出新的事实知识。由于这种可解释性，大量研究致力于开发从KG中高效发现高质量逻辑规则的方法。

逻辑规则学习经历了三个方法阶段。早期方法主要依赖归纳逻辑编程和关联规则挖掘。基础系统如FOIL\(Quinlan, 1990 (https://arxiv.org/html/2605.30747#bib.bib31)\)和AMIE\(Galárraga et al., 2013 (https://arxiv.org/html/2605.30747#bib.bib12)\)通过从特定实例泛化来生成Horn子句，而其他方法则针对大型图进行定制\(Fan et al., 2015 (https://arxiv.org/html/2605.30747#bib.bib11)\)。后续研究探索了基于路径的方法，包括AnyBURL\(Meilicke et al., 2019 (https://arxiv.org/html/2605.30747#bib.bib23)\)，它从KG中采样和评估关系路径以构建逻辑规则。虽然这些方法提供了可解释性，但它们对观察到的实例的依赖限制了其泛化到在数据中很少出现的语义有效规则的能力。

引入了神经符号集成范式以解决离散搜索的低效问题。这一方向的早期工作，如神经定理证明器（NTP）\(Rocktäschel and Riedel, 2017 (https://arxiv.org/html/2605.30747#bib.bib32)\)，引入了可微推理机制。为了减少这些方法的计算需求，后续研究引入了优化，包括自适应路径选择\(Minervini et al., 2018 (https://arxiv.org/html/2605.30747#bib.bib24)\)和动态规则子集化\(Minervini et al., 2020 (https://arxiv.org/html/2605.30747#bib.bib25)\)。尽管有这些改进，可扩展性挑战仍然阻碍了实际部署。因此，最近的研究转向了将规则学习重新表述为连续优化问题的神经逻辑框架。Neural-LP\(Yang et al., 2017a (https://arxiv.org/html/2605.30747#bib.bib43)\)引入了一个基于注意力的控制器用于顺序规则构建，而混合架构如RNNLogic\(Qu et al., 2021 (https://arxiv.org/html/2605.30747#bib.bib30)\)联合学习规则生成器和推理预测器，以进行规则嵌入的迭代细化。NCRL\(Cheng et al., 2023 (https://arxiv.org/html/2605.30747#bib.bib8)\)采用组合学习策略，通过神经表示学习结合规则组件以提高表达能力。

尽管有这些进展，现有的规则学习方法仍然主要关注链式结构，从而忽略了可以对KG中复杂关系模式进行建模的图状结构。此外，由于规则空间的指数级增长，生成图状规则在计算上具有挑战性。为了弥补这一差距，我们利用扩散模型来生成捕获复杂关系模式的图状规则，以用于KG推理。

### 2.2. 扩散模型

扩散模型已在多个领域展示了生成能力\(Yang et al., 2023b (https://arxiv.org/html/2605.30747#bib.bib45)\)。它们也已应用于图结构数据生成，包括分子设计，其中需要对复杂约束输出空间进行建模\(Vignac et al., 2023 (https://arxiv.org/html/2605.30747#bib.bib41); Huang et al., 2024 (https://arxiv.org/html/2605.30747#bib.bib14); Tseng et al., 2023 (https://arxiv.org/html/2605.30747#bib.bib46)\)。此外，扩散模型已应用于文本生成\(Li et al., 2022 (https://arxiv.org/html/2605.30747#bib.bib17)\)和代码生成\(Shi et al., 2024 (https://arxiv.org/html/2605.30747#bib.bib36)\)任务。在自然语言处理领域，扩散模型已被用于生成关系三元组\(Wang et al., 2023 (https://arxiv.org/html/2605.30747#bib.bib42)\)和解决命名实体识别任务\(Shen et al., 2023 (https://arxiv.org/html/2605.30747#bib.bib35)\)。在视觉领域，它们被用于文档布局生成\(Zheng et al., 2023 (https://arxiv.org/html/2605.30747#bib.bib48)\)和场景图生成\(Lin et al., 2024 (https://arxiv.org/html/2605.30747#bib.bib18)\)。

在知识图谱领域，扩散模型已应用于实例级任务，例如事实补全。例如，DED\(Long et al., 2024b (https://arxiv.org/html/2605.30747#bib.bib21)\)和KGDM\(Long et al., 2024a (https://arxiv.org/html/2605.30747#bib.bib20)\)分别使用离散去噪扩散概率模型和连续扩散过程进行KG补全。Zhou等人\(2024 (https://arxiv.org/html/2605.30747#bib.bib47)\)在时空KG上应用了扩散模型。Mao等人\(2024 (https://arxiv.org/html/2605.30747#bib.bib22)\)利用扩散模型进行零样本KG补全。此外，Long等人\(2023 (https://arxiv.org/html/2605.30747#bib.bib20)\)提出使用扩散模型进行实体对齐。然而，现有的KG扩散方法主要集中在实例级任务上，将它们应用于规则级发现仍然是一个未探索的方向。

为了解决这一差距，我们提出将扩散模型用于发现逻辑规则。与旨在重建单个三元组的现有方法不同，本文的目标是生成一组规则体关系之间的结构逻辑模式。这种重新表述需要从根本上改变扩散过程的作用方式——从实例重建转向模式生成逻辑模式。