基于掩码离散扩散的超关系知识图谱生成式表示学习

# 基于掩码离散扩散的超关系知识图谱生成式表示学习 来源: https://arxiv.org/html/2605.24064 ###### 摘要 超关系知识图谱（HKGs）能够有效表示复杂事实。虽然在HKGs中推断新知识是一个关键问题，但当前方法将其简化为简单的链接预测，假设事实中几乎所有实体和关系都是已知的，仅留一个空白待填充。然而，这种严格的假设在现实场景中可能不成立，因为事实的多个甚至所有组成部分可能同时缺失。为弥补这一差距，我们引入了一个称为**事实生成**的任务：从任意掩码的查询中生成一个有效的超关系事实，即完成一个部分观察到的事实或从头生成一个事实。我们提出了KREPE，这是第一个用于HKGs的生成式表示学习方法，它通过掩码离散扩散学习对缺失组件的概率分布进行建模，该分布以局部事实组件和HKG全局结构为条件。KREPE通过上下文消息传递建模事实内依赖关系，并通过聚合随机采样上下文建模事实间相关性。KREPE在单一训练框架内无缝统一了链接预测和事实生成，在标准HKG链接预测基准上实现了最先进的性能，并且在生成新颖且正确的事实方面优于基于LLM的基线方法。 超关系知识图谱, 事实生成, 生成式表示学习, 知识图谱补全, 链接预测, 消息传递神经网络 ## 1 引言 知识图谱（KGs）通过将事实表示为三元组来结构化人类知识。然而，简单的三元组格式不足以捕捉现实世界事实的多面性。为解决此限制，诸如Wikidata（Vrandečić和Krötzsch，2014 (https://arxiv.org/html/2605.24064#bib.bib26)）和YAGO（Suchanek等，2007 (https://arxiv.org/html/2605.24064#bib.bib41)）等知识库通过添加辅助键值对（称为限定符）将三元组扩展为超关系事实，从而形成超关系知识图谱（HKGs）。由于现实世界的HKGs通常是不完整的，链接预测被提出作为HKG补全任务，其中每个问题被定义为：在已知事实中所有其他元素的情况下，预测单个缺失元素。如图1 (https://arxiv.org/html/2605.24064#S1.F1)(a) 所示，链接预测方法会输出一个针对目标缺失元素的排序候选列表，假设事实内所有其他实体和关系都是已知的。 ![[无标题图像]](https://arxiv.org/html/2605.24064v1/x1.png) 图 1: HKG上的链接预测与事实生成任务比较。链接预测通过排序候选来检索单个缺失元素，而事实生成从任意掩码输入（包括完全掩码输入）构造有效事实。 一些链接预测方法评估通过用候选组件填充缺失条目而形成的每个事实的合理性（Rosso等，2020 (https://arxiv.org/html/2605.24064#bib.bib7)；Guan等，2020 (https://arxiv.org/html/2605.24064#bib.bib8)），另一些方法则采用Transformer架构来预测不完整事实中的缺失组件（Chung等，2023 (https://arxiv.org/html/2605.24064#bib.bib15)；Wang等，2021 (https://arxiv.org/html/2605.24064#bib.bib11)）。然而，这些方法侧重于单独处理事实，并未充分考虑HKG结构中事实之间的复杂依赖关系。虽然已经提出了结合GNN编码和Transformer解码的方法（Galkin等，2020 (https://arxiv.org/html/2605.24064#bib.bib9)；Luo等，2023 (https://arxiv.org/html/2605.24064#bib.bib13)），但它们对图结构的使用有限，例如在更新表示时忽略关系或限定符。最近，MAYPL（Lee和Whang，2025 (https://arxiv.org/html/2605.24064#bib.bib51)）被引入以将HKG结构全面编码到表示学习中。尽管有这些架构上的进步，现有工作仍然存在一个根本性限制：它们局限于链接预测任务，这本质上是一个被动的“填空”问题，依赖于单个缺失元素的严格假设。这种假设与真实场景不一致，在真实场景中查询中缺失信息的程度是不可预测的。在实践中，我们很少遇到几乎完整、仅需填充单个组件的事实，例如 \(\big((h,r,?), \{(k_1,v_1)\}\big)\)。相反，挑战通常在于从高度不完整的观察中生成有效的知识。 为了适应现实世界查询中不同程度的缺失信息，我们提出了一个名为**事实生成**的任务。与链接预测（基于几乎完整的、单个掩码的查询推断特定缺失组件）不同，事实生成旨在从任意掩码的查询中构造一个有效的超关系事实。如图1 (https://arxiv.org/html/2605.24064#S1.F1)(b) 所示，我们的任务甚至扩展到从完全掩码的输入 \(\big((?,?,?), \{(?,?)\}\big)\) 生成完整事实。在这项工作中，我们将事实生成形式化为：在给定查询和HKG结构的情况下，建模掩码组件的条件概率分布。 我们提出了KREPE（通过掩码离散扩散的上下文HKG表示学习），它利用上下文消息传递来计算实体和关系表示，并采用掩码离散扩散来估计掩码组件的底层分布。具体来说，我们的上下文消息传递更新每个组件以编码其周围结构，即每个事实内的上下文，从而捕捉事实内依赖关系。同时，采用双层加噪策略来模拟查询和观察结构的不同条件生成场景。KREPE在掩码离散扩散框架下训练，该框架将生成视为迭代重建过程，从而学习查询中多个掩码组件的联合条件分布。由于链接预测是涉及单个掩码组件的事实生成的一个特例，KREPE在单一表示学习框架内无缝统一了实体预测、关系预测和事实生成。 我们的主要贡献总结如下： - •我们提出了**事实生成**，将HKG补全的范围从对单个空格的被动候选排序扩展到直接生成缺失事实。 - •我们提出了KREPE，这是第一个用于HKGs的生成式表示学习方法，结合掩码离散扩散来显式建模查询中缺失组件的联合条件概率分布。我们的代码和数据集可在 https://github.com/bdi-lab/KREPE 获取。 - •KREPE在三个标准链接预测基准上实现了最先进的性能，表明我们的生成式目标增强了学习表示的质量。 - •KREPE在事实生成方面显著优于多种具有竞争力的基于LLM的基线方法，验证了建模以事实间和事实内依赖关系为条件的概率分布对于生成新颖且正确的事实是有效的。 ## 2 相关工作 #### HKG表示学习 大多数HKG表示学习方法（Wang等，2021 (https://arxiv.org/html/2605.24064#bib.bib11)；Lee和Whang，2025 (https://arxiv.org/html/2605.24064#bib.bib51)）是为链接预测定制的。基于评分的方法如HINGE（Rosso等，2020 (https://arxiv.org/html/2605.24064#bib.bib7)）和NeuInfer（Guan等，2020 (https://arxiv.org/html/2605.24064#bib.bib8)）对单个缺失位置的所有可能候选进行排序。这些方法对于涉及多个缺失组件的事实生成在计算上是难以处理的，因为组合搜索空间呈指数级增长。StarE（Galkin等，2020 (https://arxiv.org/html/2605.24064#bib.bib9)）和Hy-Transformer（Yu和Yang，2021 (https://arxiv.org/html/2605.24064#bib.bib10)）将不完整事实编码为向量以预测单个目标，而HyperFormer（Hu等，2023 (https://arxiv.org/html/2605.24064#bib.bib14)）需要观察实体的邻居信息，这限制了它们只能进行单元素推断。尽管HAHE（Luo等，2023 (https://arxiv.org/html/2605.24064#bib.bib13)）引入了多位置预测任务，但它受限于预定义的掩码模式，每个三元组或限定符对最多允许一个缺失组件。因此，现有方法仅限于预测单个缺失元素或处理固定、有限的掩码模式，缺乏支持具有可变掩码模式的现实场景中知识生成的能力。 #### 用于知识图谱的大语言模型 虽然侧重于KGs而非HKGs，但已有工作尝试将大语言模型（LLMs）应用于KG补全，特别是链接预测（Xu等，2024 (https://arxiv.org/html/2605.24064#bib.bib54)；Guo等，2024 (https://arxiv.org/html/2605.24064#bib.bib55)；Jiang等，2024 (https://arxiv.org/html/2605.24064#bib.bib56)）。将LLMs应用于KG链接预测的一种常见方法是**检索-再排序**策略（Liu等，2025a (https://arxiv.org/html/2605.24064#bib.bib57), b (https://arxiv.org/html/2605.24064#bib.bib58)；Lin等，2025 (https://arxiv.org/html/2605.24064#bib.bib59)），其中预训练的KG模型为单空格查询检索候选，随后由LLM进行精炼。例如，KICGPT（Wei等，2023 (https://arxiv.org/html/2605.24064#bib.bib52)）利用RotatE（Sun等，2019 (https://arxiv.org/html/2605.24064#bib.bib53)）为给定查询获取top-k候选，并使用LLM进行重新排序。然而，这些方法需要一个骨干KG链接预测模型来提供候选，因此不能直接应用于事实生成，因为现有的KG模型无法处理多掩码查询。虽然MuKDC（Li等，2024a (https://arxiv.org/html/2605.24064#bib.bib61)）使用LLMs合成三元组，但这是一种数据增强技术，用于缓解少样本场景下的稀疏性，而不是在推理过程中用于推断新事实的生成模型。显然，我们的工作也与文本到KG的构建方法（Mo等，2025 (https://arxiv.org/html/2605.24064#bib.bib62)；Luo等，2024 (https://arxiv.org/html/2605.24064#bib.bib64)）不同；它们旨在将非结构化文本语料库转换为结构化知识，而我们的目标是生成新知识，这需要与简单信息提取根本不同的HKG推理能力。 #### (H)KGs的扩散模型 去噪扩散概率模型（Ho等，2020 (https://arxiv.org/html/2605.24064#bib.bib65)）已成为连续数据（如图像）生成建模的主导范式。为了将其扩展到离散数据，离散扩散方法（Austin等，2021 (https://arxiv.org/html/2605.24064#bib.bib66)），如掩码离散扩散，已被开发用于文本生成等任务。虽然在KG领域已经提出了几种基于扩散的方法（Long等，2024b (https://arxiv.org/html/2605.24064#bib.bib67), a (https://arxiv.org/html/2605.24064#bib.bib68)），但它们是条件去噪扩散模型，生成以查询为条件的缺失实体的连续嵌入向量，而不是生成事实本身。DiffusionE（Cao等，2024 (https://arxiv.org/html/2605.24064#bib.bib69)）利用黎曼流形上的热扩散来重新表述用于链接预测的消息传递，这与生成性去噪扩散有根本不同。HDiff（Luo等，2025 (https://arxiv.org/html/2605.24064#bib.bib70)）将去噪扩散应用于HKGs，以精炼用于链接预测的连续事实表示。虽然现有方法仅将扩散用于精炼用于候选排序的连续嵌入，但KREPE利用扩散过程来建模查询中缺失组件的联合概率分布，从而能够从任意掩码查询中生成事实。 #### 三元组集合预测 三元组集合预测（Zhang等，2024 (https://arxiv.org/html/2605.24064#bib.bib85)）是预测所有元素均未知的缺失三元组的任务。然而，该任务是为KGs定义的，并未考虑缺失三元组的部分信息可用的情况。相比之下，事实生成为HKGs定义，旨在从任意掩码查询（包括完全掩码的查询）中预测有效事实。因此，三元组集合预测是事实生成的一个特例。值得注意的是，GPHT（Zhang等，2024 (https://arxiv.org/html/2605.24064#bib.bib85)）是一种用于三元组集合预测的模型，不能直接应用于事实生成。GPHT减少候选三元组的数量，然后对剩余候选三元组进行排序以进行预测。然而，对于超关系事实，候选空间随限定符数量呈指数增长，使得这种基于排序的预测不可行。 见图注 图 2: KREPE 概述。训练期间，训练集被分为观察集和目标集，目标集中的事实被掩码以作为查询。实体、关系和掩码的表示通过上下文消息传递进行更新，整合了事实内的局部上下文以及事实间的关系。这些表示用于近似掩码的概率分布。估计的概率分布用于扩散目标。推理期间，训练集作为观察集，得到的概率分布用于判别式和生成式推理任务。 ## 3 问题定义 我们正式定义HKGs（定义3.1 (https://arxiv.org/html/2605.24064#S3.Thmtheorem1)），并介绍HKG上的链接预测任务（定义3.2 (https://arxiv.org/html/2605.24064#S3.Thmtheorem2)）和事实生成任务（定义3.3 (https://arxiv.org/html/2605.24064#S3.Thmtheorem3)）。 ###### 定义 3.1 (超关系知识图谱). 超关系知识图谱 (HKG) 定义为 \(G=(\mathcal{V}, \mathcal{R}, \mathcal{H})\)，其中 \(\mathcal{V}\) 和 \(\mathcal{R}\) 分别表示实体集和关系集，而 \(\mathcal{H}\) 表示超关系事实集。一个超关系事实 \(\xi \in \mathcal{H}\) 包含一个主三元组和一组限定符，记为 \(\xi = \big((h,r,t), \mathcal{Q}_\xi\big)\)。主三元组 \((h,r,t)\) 由头实体 \(h \in \mathcal{V}\)、主关系 \(r \in \mathcal{R}\) 和尾实体 \(t \in \mathcal{V}\) 组成。限定符集定义为 \(\mathcal{Q}_\xi = \{(k_i, v_i) \mid k_i \in \mathcal{R}, v_i \in \mathcal{V}\}_{i=1}^{n_\xi}\)，其中 \(n_\xi \geq 0\) 是 \(\xi\) 中的限定符数量，每个限定符对 \((k_i, v_i)\) 由一个限定符关系 \(k_i\) 和一个限定符实体 \(v_i\) 组成。 ###### 定义 3.2 (HKG上的链接预测). 给定一个HKG \(G=(\mathcal{V}, \mathcal{R}, \mathcal{H}\)