动态知识图谱中关系间依赖的泊松-伽马建模

# 动态知识图谱中关系间依赖的泊松-伽马建模
来源: https://arxiv.org/html/2607.02872
南方庆广东大湾区大学计算机与信息技术学院 中国广东东莞深圳大学计算机与软件学院 中国广东深圳王艺君广东大湾区大学计算机与信息技术学院 中国广东东莞清华大学 中国广东深圳廖浩杨思坤通讯作者: sikunyang@gbu\.edu\.cn广东大湾区大学计算机与信息技术学院 中国广东东莞广东省数学与神经动力系统重点实验室

###### 摘要

动态知识图谱在当今的人工智能应用中无处不在，因为我们使用这些图模型来表示分子结构、社交关系和语言信息。随着知识图谱随时间演化，并且常常包含噪声和不完整性，对其时间和关系依赖关系进行建模对于下游任务至关重要。为了应对这些挑战，本文提出了 PGRE（泊松-伽马关系演化），一种用于建模动态知识图谱中关系间依赖关系的概率模型。PGRE 通过泊松-伯努利公式表示多关系时间链接。它引入伽马分布的潜变量来捕获实体-因子关联以及由共享潜在社区介导的跨关系依赖关系。伽马马尔可夫过程进一步建模这些潜变量的时间演化，从而能够原则性地表征关系动态。在基准数据集上的实验表明，PGRE 在链接预测中取得了有竞争力的性能，尤其在稀疏设置下，同时揭示了动态知识图谱中有意义的关系演化模式。

## 1 引言

知识图谱 (KGs) \[ji2021survey\] 提供了关于实体和关系的结构化知识的基本表示，并支持广泛的应用，包括问答 \[yasunaga2021qa, chakraborty2021introduction, jia2021complex\]、推荐系统 \[wang2019explainable, wang2021learning, wang2019kgat\] 和语义搜索 \[thingbaijam2024incorporating, xiong2017explicit, ehrlinger2016towards\]。然而，在实际设置中，知识本质上是动态的：关系可能随时间出现、演化或消失。这激发了对动态知识图谱 (DKGs) \[liang2024survey\] 的研究。DKGs 将多关系交互建模为时间事件序列，以从历史观测中预测未来或缺失的关系。

知识图谱补全在过去十年中得到了广泛研究，基于神经架构的表示学习方法取得了显著进展 \[schlichtkrull2018modeling, trivedi2017know, rossi2020temporal, jin2019recurrent\]。尽管这些方法具有强大的实证表现，但它们通常依赖于大量训练数据，并且由于其黑盒性质而表现出有限的可解释性 \[chen2023tempme, seo2024self\]。这些限制在稀疏或小样本设置中变得更加明显，而这在现实世界的动态知识图谱中很常见 \[huang2023temporal, zhou2022tgl\]。

与此同时，知识图谱中的关系很少是独立的。不同的关系类型可能表现出结构化的依赖关系，过去观察到的关系事实可以直接影响未来的交互 \[schlichtkrull2018modeling, trivedi2017know\]。如图 1 所示，这种依赖关系通常表现为结构化的关系随时间转换，其中实体对在时间 \(t\) 的关系取决于其在时间 \(t-1\) 的状态。忽略这些关系间和时间上的依赖关系可能导致对关系演化的不完整刻画。贝叶斯方法通过显式建模不确定性和结构化依赖关系 \[acharya2015nonparametric, yang2018poisson, pmlr\-v80\-yang18b, schein2019poisson, pmlr\-v124\-yang20a, DBLP:conf/sdm/YangZ23, DBLP:conf/aaai/YangZ24\] 提供了一种有原则的替代方案，为在保持可解释性的同时捕获关系动态提供了自然框架。

参照图例
图 1：关系转移先验及其在动态知识图谱中的体现说明。上方面板显示了一个关系转移的示例性先验，其中有向边编码了关系类型之间的假设转移概率。下方面板提供了一个示例，说明实体对之间的关系如何根据其先前关系从时间 \(t-1\) 变化到 \(t\)（例如，\(\Pr(y_{uv,t}=r_2 \mid y_{uv,t-1}=r_3)\)）。

在本文中，我们提出了 PGRE（泊松-伽马关系演化），一种用于动态知识图谱补全的概率模型。PGRE 通过泊松-伽马潜变量公式表示多关系时间链接，并在伽马-马尔可夫动力学中引入关系转移矩阵，以显式捕获关系间的时间依赖关系。通过在统一的生成框架中联合建模实体-因子关联和关系到关系的演化，PGRE 提供了可解释的潜在表示，并支持动态链接预测的可处理后验推断。

本文的主要贡献总结如下：

1. 1. 提出了 PGRE，一种用于动态知识图谱补全的概率模型，以联合建模实体-因子关联和关系间的时间动态。
2. 2. 将单关系概率建模扩展到多关系设置，从而能够在动态知识图谱中对关系演化进行结构化表征。
3. 3. 开发了基于负二项-对数数据增强的高效吉布斯采样算法，用于可处理的后验推断。
4. 4. 在基准数据集上进行了广泛的实验，表明 PGRE 取得了有竞争力或优越的链接预测性能，尤其在稀疏和小样本情况下，同时揭示了有意义的关系演化模式。

## 2 相关工作

动态知识图谱补全已通过神经表示学习方法得到了广泛研究。早期方法通过引入时间信息扩展静态嵌入模型，包括 TTransE \[garcia2018learning\]、TA-TransE 和 TA-DistMult \[leblay2018deriving\]、HyTE \[dasgupta2018hyte\]、DacKGR \[lv2020dynamic\] 和 DKGE \[wu2022efficiently\]，这些方法引入了时间感知嵌入或时间约束来建模关系演化。后续工作将图神经网络与序列建模相结合，以捕获结构上下文和时间动态。代表性模型包括 DyRep \[trivedi2019dyrep\]、RE-NET \[jin2019recurrent\] 和 RE-GCN \[li2021temporal\]，它们利用注意力机制、循环单元或进化聚合来预测未来关系。最近，大语言模型被用于时间知识图谱预测，以改进跨场景泛化 \[bai2025g2s, tang2025anre\]。虽然这些神经方法在大型数据集上取得了强大的实证表现，但它们通常依赖于大量训练数据，可解释性有限，并且在稀疏或小样本情况下面临挑战。

概率建模通过显式表征不确定性和时间演化，为动态网络分析提供了有原则的替代方案。早期工作基于随机块模型 (SBM) \[holland1983stochastic, nowicki2001estimation\] 及其非参数扩展，如 IRM \[kemp2006learning\] 和 GP-EPM \[zhou2015infinite\]。动态扩展包括 matias2017statistical 的动态随机块模型、D-NGPPF \[acharya2015nonparametric\]（通过伽马-马尔可夫链建模平滑演化的社区）和 DPGM \[yang2018poisson\]（允许时变社区成员资格）。最近的扩展 G-HSEPM \[yu2025tracking\] 引入了层次化转移结构来表征动态网络中的潜在社区演化。然而，这些模型通常关注于单一无向网络，并未明确解决多关系动态问题。另一条研究线通过将动态知识图谱重塑为事件-时间计数矩阵来研究时间交互数据，产生了 PGDS \[schein2016poisson\]、PRGDS \[schein2019poisson\] 和 NBRGDS \[huang2024negative\] 等模型。尽管这些方法对于建模时间强度很有效，但它们通过数据转换间接捕获多关系结构，而不是直接建模关系交互。因此，动态多关系知识图谱的贝叶斯建模仍然相对未得到充分探索。

## 3 提出的动态知识图谱模型

本节首先定义问题设置，然后详细描述所提出的用于建模和跟踪动态知识图谱中关系演化的泊松-伽马模型。

### 3.1 符号与问题定义

时间知识图谱 (TKG) 将时间上演化的关系事实表示为一组带有时间戳的四元组 \((s, r, o, t)\)，其中 \(s\) 和 \(o\) 表示实体，\(r\) 表示关系类型，\(t\) 是离散时间戳。时间 \(t\) 的事件集合形成一个快照 \(G_t\)，TKG 在 \(T\) 个时间步上表示为一个序列 \(\mathcal{G} = \{G_1, \dots, G_T\}\)。

为便于建模，我们将 TKG 表示为一个二元张量 \(\mathcal{M} \in \{0,1\}^{T \times R \times N \times N}\)，其中 \(\mathcal{M}[t][r][s][o] = 1\) 表示在时间 \(t\)，关系 \(r\) 从 \(s\) 到 \(o\) 存在。时间知识图谱补全因此相当于预测 \(\mathcal{M}\) 中的缺失条目。在本文中，我们关注预测设置，其目标是基于历史观测推断未来关系。给定截至时间 \(t_q - 1\) 的历史快照，目标是推断关系 \((s, r, o)\) 在查询时间 \(t_q\) 是否成立。

### 3.2 泊松-伽马关系演化

我们首先描述如何在单个时间步表示潜在社区的结构，然后解释这些潜在社区对关系类型的影响如何随时间演化。在整篇文章中，我们使用 \(\mathrm{Gam}\)、\(\mathrm{Pois}\)、\(\mathrm{Dir}\)、\(\mathrm{Bern}\) 和 \(\mathrm{NB}\) 分别表示伽马分布、泊松分布、狄利克雷分布、伯努利分布和负二项分布。

为了表征知识图谱的社区结构，我们将每个实体与两个非负的实体-社区因子向量关联，分别对应其作为主体和客体的角色。这些向量捕获了与多个潜在社区的角色特定软隶属关系，而其绝对大小并不单独解释。相反，它们的相对模式，连同关系和时间特定的社区权重，决定了多关系交互的强度。直观地，实体可以同时参与多种类型的交互。例如，一位研究者可能与一些同行合作，同时指导其他人。这种重叠且依赖角色的模式可以通过不同的主体侧和客体侧与多个潜在社区的隶属关系来表示。具体来说，我们假设动态知识图谱包含 \(K\) 个潜在社区。实体 \(i\) 在社区 \(k\) 上的主体侧因子载荷 \(\phi_{ik}\) 和实体 \(j\) 在社区 \(k\) 上的客体侧因子载荷 \(\psi_{jk}\) 被赋予伽马先验：\(\phi_{ik} \sim \mathrm{Gam}(a_0, 1/c_i)\) 和 \(\psi_{jk} \sim \mathrm{Gam}(a_1, 1/c_j)\)，其中 \(\mathrm{Gam}(\alpha, \theta)\) 表示形状参数为 \(\alpha\)、尺度参数为 \(\theta\) 的伽马分布。超参数 \(a_0\) 和 \(a_1\) 控制先验形状，而 \(c_i\) 和 \(c_j\) 分别调节主体侧和客体侧社区因子载荷的大小。

我们假设潜在社区随时间演化并受关系类型影响。因此，我们引入一个时间和关系相关的变量 \(\delta_k^{(t,r)}\) 来表示社区 \(k\) 在时间 \(t\) 下关系 \(r\) 的状态。直观地，知识图谱中的不同关系类型并非独立，它们的动态可以通过共享的潜在社区结构相互影响。共享相似语义上下文的实体通常随时间表现出相关的关系行为。例如，两位研究者之间出现“合作”关系可能会增加同一社区内后续“合著”关系的可能性。为了捕获这种依赖关系，我们将社区 \(k\) 在时间 \(t\) 下关系 \(r\) 的状态建模为 \(\delta_k^{(t,r)} \sim \mathrm{Gam}\left(\sum_{r'=1}^{R} \pi_{rr'} \delta_k^{(t-1,r')}, 1/\tau\right)\)，这表明社区 \(k\) 在时间 \(t\) 下关系 \(r\) 的权重可能受到同一社区在上一时间步 \(t-1\) 下所有关系权重的影响。这种影响的强度由系数向量 \(\Pi_r = [\pi_{r1}, \pi_{r2}, \dots, \pi_{rR}]^T\) 决定。特别地，我们从伽马先验中抽取关系 \(r\) 下的初始社区权重：\(\delta_k^{(1,r)} \sim \mathrm{Gam}(\nu_r / K, 1/\tau)\)。我们在转移核上施加狄利克雷先验：\(\boldsymbol{\pi}_r \sim \mathrm{Dir}(\nu_1 \nu_r, \cdots, \xi \nu_r, \cdots, \nu_R \nu_r)\)，并从伽马先验中抽取超参数 \(\nu_r\)：\(\nu_r \sim \mathrm{Gam}(\gamma_0 / R, 1/\beta)\)，其中 \(\gamma_0\) 是浓度参数，\(\beta\) 是超参数。

值得注意的是，当潜在社区数量 \(K\) 趋于无穷时，层次化伽马先验具有固有的收缩特性，会将冗余社区的权重推向零。这一特性使模型能够从数据中自动推断出合适的活跃社区数量，而不是依赖于手动固定的 \(K\)，从而在建模现实世界的动态知识图谱时提高了灵活性和可解释性。

给定主体侧和客体侧社区因子载荷 \(\boldsymbol{\phi}_i\) 和 \(\boldsymbol{\psi}_j\)，以及关系和时间相关的社区权重 \(\delta_k^{(t,r)}\)，我们使用伯努利-泊松链接函数将主体实体 \(i\) 到客体实体 \(j\) 在时间 \(t\) 下类型为 \(r\) 的链接概率建模为：

\[
\mathcal{M}[t][r][i][j] \sim \mathrm{Bern}\left(1 - \exp\left(-\sum_{k=1}^K \delta_k^{(t,r)} \phi_{ik} \psi_{jk}\right)\right).
\qquad (1)
\]

等价地，该公式可以表示为：

\[
\begin{aligned}
\mathcal{M}_{ij}^{(t,r)} &= \mathbf{1}(x_{ij}^{(t,r)} \ge 1), &\qquad (2)\\
x_{ij}^{(t,r)} &\sim \mathrm{Pois}\Big(\sum_{k=1}^K \delta_k^{(t,r)} \phi_{ik} \psi_{jk}\Big), &\qquad (3)
\end{aligned}
\]
其中 \(\mathcal{M}_{ij}^{(t,r)}\) 等同于张量表示中的 \(\mathcal{M}[t][r][i][j]\)。