CORE：用于知识图谱补全的循环正交体关系嵌入

# CORE: 用于知识图谱补全的循环正交体关系嵌入

来源: https://arxiv.org/html/2605.11159
###### 摘要

知识图谱补全（KGC）旨在通过将实体和关系映射到连续表示空间，自动推断多关系数据中缺失的事实。近期的区域基于嵌入模型在通过几何区域表示关系以捕捉复杂逻辑模式方面展现了巨大潜力。然而，这些模型在优化过程中不可避免地受到绝对边界约束的限制。相反，若无此类约束，关系区域会无限扩张。为解决这一局限，我们提出了 **CORE**（Cyclic Orthotope Relation Embedding，循环正交体关系嵌入），这是一种新颖的KGC模型，将实体和关系嵌入到一个无边界环面流形上。CORE在环面流形上将关系表示为循环正交体，允许区域无缝跨越空间边界，以确保梯度的平滑传导。此外，引入了自适应宽度正则化以防止区域无条件扩张。理论分析证明，CORE能够捕捉包含包含（subsumption）和交集在内的各种复杂关系模式。在四个基准数据集上的广泛实验表明，CORE取得了极具竞争力的性能，显著提高了密集语义环境下的链接预测准确率。

## I 引言

随着信息技术的飞速发展，人类社会产生的数据量呈指数级增长。从海量、异构和非结构化数据中提取有价值的结构知识已成为人工智能领域的核心挑战。知识图谱（KGs）作为满足这一需求的有效解决方案应运而生。从根本上讲，知识图谱是一种揭示实体间关系的语义网络。它采用图结构来存储现实世界中的事实，其中节点代表现实世界中的实体，边代表它们之间的关系。知识图谱的基本格式是事实三元组，记为 \((h, r, t)\)，表示头实体 \(h\) 通过关系 \(r\) 连接到尾实体 \(t\)。得益于其结构化特性，大规模知识图谱如 Freebase\[1\]、DBpedia\[2\]、YAGO\[3\] 和 Wikidata\[4\] 已广泛应用于下游任务中，包括智能问答\[5\] 和推荐系统\[6\]。

尽管规模庞大，但知识图谱往往是不完整的。由于知识图谱主要通过从未结构化文本或百科全书中自动或半自动提取算法构建，它们存在算法不准确性以及知识固有的滞后性。这种不完整性严重限制了知识图谱在下游任务中的推理能力和泛化潜力。因此，知识图谱补全（KGC），也称为链接预测，已成为一个关键研究领域。KGC的主要目标是根据图中现有的三元组自动推断缺失的事实，例如预测 \((h, r, ?)\) 中的尾实体或 \((h, ?, t)\) 中的关系。

为应对KGC任务，知识图谱嵌入（KGE）已成为主流范式。传统的平移距离模型，如 TransE\[8\] 和 RotatE\[9\]，将实体和关系投影到连续向量空间中，将关系定义为平移或旋转。为了增强表达能力，提出了区域基于嵌入模型。像 BoxE\[10\] 这样的模型将实体嵌入为点，但将关系建模为几何区域。如果实体落在相应关系的空间区域内，则认为三元组有效，这使得模型能够自然地捕捉复杂的映射属性和层次结构。

然而，现有的区域基于嵌入模型都面临同样的挑战。它们在表示空间内不可避免地受到绝对边界约束的影响。在训练和优化过程中，如果不强制执行绝对空间边界，关系区域往往会无限扩张以容纳更多实体，而负样本可能会无边界地发散。相反，施加强制空间映射或硬边界截断来约束嵌入空间可能会导致关系区域边缘出现严重的梯度饱和。这种硬截断方法在数学上扭曲了关系的几何结构，并排除了逻辑上属于它们的边界实体。因此，模型精确表征关系区域的能力受到损害，严重限制了整体的补全性能。

为了克服传统区域嵌入的边界限制，我们提出了 **CORE**（Cyclic Orthotope Relation Embedding），一种基于空间表示的新颖KGC模型。CORE将区域嵌入扩展到环面流形，这是一个紧致阿贝尔李群。该模型将实体表示为动态点，将关系表示为无边界循环正交体。具体而言，如果头实体和尾实体都精确落在其相应的循环正交体内，则认为事实三元组为真。利用商空间的等价类映射规则，CORE允许关系区域在保持连续性的同时无缝跨越空间边界。这一拓扑优势有效解决了区域边缘的局部梯度饱和问题，捕捉了传统模型中会被丢弃的边界实体。此外，为防止关系区域在无边界流形中陷入膨胀捷径，我们引入了自适应宽度正则化机制以维持高精度。

本文的主要贡献总结如下：

- 我们将区域嵌入引入无边界环面流形，以解决先前方法中普遍存在的边界约束问题。具体而言，我们将实体表示为动态点，将关系表示为循环正交体。此外，我们应用自适应宽度正则化策略以防止区域无条件膨胀。
- 我们的模型通过循环正交体区域之间的几何交互捕捉各种复杂关系模式。我们从理论上证明了该模型表达对称性、反对称性、反转、包含、交集和互斥等模式的能力。
- 我们在 FB15k、FB15k-237、WN18 和 WN18RR 基准数据集上评估了模型在链接预测任务上的性能。实验结果表明，CORE 与各种基线模型相比取得了具有竞争力的性能。

## II 相关工作

### II-A 基于表示空间的模型

传统的 KGC 模型主要通过将实体和关系映射到特定的数学空间来学习嵌入，以捕捉关系模式和结构属性。

**通用向量空间中的模型**。最广泛采用的方法是将知识图谱嵌入到实数或复数向量空间中。TransE\[8\] 是一个开创性模型，它将关系表示为实体向量之间的简单平移。为了解决其在建模复杂关系方面的局限性，随后的变体如 TransH\[11\] 和 TransR\[12\] 引入了关系特定的超平面和独立的关系空间。或者，语义匹配模型如 DistMult\[13\] 利用双线性操作来捕捉语义交互。为了正确建模非对称关系，ComplEx\[14\] 将嵌入扩展到复向量空间，而 RotatE\[9\] 优雅地将关系定义为复平面中的旋转。SimplE\[32\] 通过为每个实体学习两个独立表示以及为每个关系学习两个对角矩阵来建模非对称关系。DualE\[33\] 将实体和关系嵌入到双四元数空间，这是复数系统的超复扩展。HAKE\[35\] 将实体映射到极坐标系，从而可以区分实体的层次级别。

**其他空间中的模型**。除了标准向量空间外，研究人员还探索了专门的几何和代数结构，以更好地反映知识图谱的底层拓扑结构。例如，TorusE\[15\] 和 KGLG\[16\] 将实体映射到环面（一个紧致李群）上，以自然解决嵌入的发散问题。为了捕捉 KGs 固有的层次化和树状结构，双曲几何模型如 MuRP\[17\] 和 ATTH\[18\] 利用了负曲率空间。此外，如 TransC\[19\] 中所示，球面几何已被用于在闭合流形内封装概念和实例。

**区域基于嵌入模型**。作为表示空间模型中表达力极强的子集，区域基于嵌入通过改变范式，将实体建模为点，将关系建模为复杂几何区域。三元组的得分基于实体点到关系区域的距离。BoxE\[10\] 开创了这一先河，将关系建模为欧几里得空间中的超矩形，根据相互作用的对应物为实体提供动态上下文表示。为了捕捉更复杂的组合规则，ExpressivE\[20\] 通过将关系定义为虚拟三元空间中的超平行四边形来扩展这一概念。类似地，Octagon\[21\] 通过使用轴对齐八边形来强化边界约束，提高了几何直观性。尽管这些区域基于模型受到绝对边界约束的影响。我们提出的模型 CORE 属于此类，但关键区别在于它将循环正交体区域映射到无边界环面流形上，从而消除了与绝对边界相关的梯度饱和问题。

### II-B 基于神经网络的模型

为了克服浅层表示空间在建模高度非线性交互方面表达能力有限的问题，神经网络已广泛应用于 KGC。ConvE\[22\] 在重塑的嵌入上引入2D卷积层，以较少的参数高效提取全局语义特征。此外，图神经网络（GNNs）已被采用以聚合结构邻域信息。例如，R-GCN\[23\] 为消息传递引入了关系特定的变换，而 KBGAT\[24\] 结合了多头注意力机制以权衡不同邻居节点的重要性。尽管表达力很强，但神经网络模型通常面临高计算复杂度、过拟合风险以及缺乏可解释性等挑战。

### II-C 基于预训练语言模型的模型

随着大型语言模型（LLMs）的快速进步，将文本上下文和外部知识融入 KGC 带来了显著的性能提升。像 KG-BERT\[25\] 这样的模型将三元组视为文本序列，将链接预测框架化为由预训练语言模型（PLMs）编码的序列分类任务。SimKGC\[26\] 等扩展引入了对比学习以增强模型的判别推理能力。其他方法，如 KGT5\[27\] 和 KICGPT\[28\]，利用生成式架构和上下文学习将结构知识与自然语言桥接。尽管这些方法利用庞大的外部语料库展示了卓越的性能，但它们对大量参数的重度依赖使其计算成本高昂，并且偶尔容易受到模型幻觉的影响。

## III 方法

### III-A 符号说明

令知识图谱定义为有向图 \(G = \{E, R, T\}\)，其中 \(E\) 是实体集合，\(R\) 是关系集合，\(T \subseteq E \times R \times E\) 是事实集合。事实三元组记为 \(r(e_h, e_t)\)，其中 \(e_h, e_t \in E\) 作为头实体和尾实体，\(r \in R\) 是它们之间的关系。

CORE的目标嵌入空间是 \(d\)-维环面 \(T^d \cong [0, 1)^d\)，其中 \([0, 1)\) 作为其基本域。我们用 \(e_h^{r(e_h, e_t)}\) 表示在三元组 \(r(e_h, e_t)\) 的上下文中头实体的特定动态表示。\(\|\cdot\|_x\) 表示 \(L_x\)-范数，而 \(\odot\) 和 \(\oslash\) 分别表示逐元素乘法和除法。

### III-B 预备知识：环面

为了支持无边界空间映射和连续梯度下降，CORE 选择紧致阿贝尔李群作为其基础数学空间。具体而言，实体和关系被嵌入到 \(n\)-维环面空间 \(T^n\) 中。在数学上，环面 \(T^n\) 定义为实坐标空间 \(R^n\) 在整数格 \(Z^n\) 下的商空间：

$$T^n \cong R^n / \sim = \{ [x] \mid x \in R^n \}, \quad (1)$$

其中 \([x]\) 表示一个等价类。在实际计算中，任何发散的坐标 \(x \in R^n\) 都可以通过非负模运算 (\(x \bmod 1\)) 唯一地映射到 \([0, 1)^n\) 内的标准坐标。这种周期性环绕特性确保当实体移动并跨越空间界限时，它会无缝地从对面重新进入，为平滑距离评估提供数学支持。

### III-C CORE 模型

#### III-C1 动态实体表示

为了使实体在与不同对象交互时表现出不同的语义特征，我们引入了上下文感知的动态表示机制。每个实体 \(e_i \in E\) 由两个向量参数化：一个基位置 \(e_i \in R^d\)，代表其在环面上的初始坐标；以及一个变换脉冲 \(b_i \in R^d\)，表示其对其他实体的空间偏移效应。

对于给定的三元组 \(r(e_h, e_t)\)，头实体和尾实体的最终嵌入受到彼此变换脉冲的影响。在自然原...