GRATE：通过门控旋转注意力实现归纳知识图谱基础模型的时间扩展

# 通过门控旋转注意力实现归纳式KG基础模型的时间扩展
来源：https://arxiv.org/html/2607.10197

###### 摘要

知识图谱基础模型（如 Ultra 和 Trix）通过学习能够泛化到未见实体和关系的关联图表示，实现了强大的归纳迁移。将这种可迁移性扩展到时序知识图谱（TKG）仍然具有挑战性：现有时序模型将其参数绑定到数据集特定的实体、关系或时间戳上，并且并非设计用于迁移到词汇表不重叠的 TKG。我们提出 Grate（门控旋转注意力用于时间编码），这是一种实体侧消息函数，它不添加任何可学习参数，通过根据每个边消息与查询的时间差对其进行旋转，并应用查询条件门控来选择时间上相关的信号，从而利用相对时间差异对时间进行编码。Grate 可集成到 NBFNet 风格的 KG 基础模型中，同时保持结构可迁移性。现有的 TKG 基准在共享的训练/测试词汇表中进行评估，无法直接测试跨数据集的时间迁移；因此，我们构建了 GDELTIndT 和 WIKIIndT，这是具有不重叠实体、关系和时间戳的归纳迁移基准套件，涵盖插值和外推两种场景。在这些基准和保留的预测数据集上，一个单一联合预训练的 Grate 检查点在大多数设置中比静态基础模型有所改进。

时序知识图谱，知识图谱基础模型，归纳推理，旋转位置编码，图神经网络

## 1 引言

最近的知识图谱（KG）基础模型[1,2,3]学习了词汇不可知的表示，能够迁移到具有未见实体和关系的图谱，支持诸如“奥巴马与谁进行了谈判？”的链接预测查询。许多事实本质上也是时序性的：时序知识图谱（TKG）为每个事实附加一个时间戳，因此相同的查询仅在搭配年份时才有意义（例如“……在2010年”）。现有的 TKG 模型[4,5,6]学习数据集特定的实体、关系和时间戳嵌入，每当出现新内容时就必须重新训练，这使得它们不适用于新出现的政治行为体、新发现的科学家或快速演变的事件流等场景，其中新词汇不断到达。

一种自然的替代方案是直接将归纳式 KG 基础模型应用于 TKG。然而，时序推理需要非纯粹结构的相似性判断。归纳式 KG 基础模型通过图上下文比较新实体和关系来进行迁移，但在 TKG 中，支持事实的有用性还取决于其时间以及与查询的相关性。对于诸如“2024年美国总统会见了谁？”的查询，2024年的会议通常比1974年的会议与查询上下文更相似，即使两者具有相似的图结构。同样，在同一天的事件中，与国家元首的会议比与体育人物的会议与外交查询更相关。因此，归纳式时序推理要求模型不仅要根据结构相似性来判断支持事实，还要根据相对时间位移和查询条件相关性来判断。现有的归纳式 KG 基础模型不能提供这一点：它们仅通过静态图结构定义相似性，将来自所有时间戳的事实视为与查询同等对齐，不加区分地聚合所有支持事实。

因此，我们提出 Grate（门控旋转注意力用于时间编码），一种用于 NBFNet 风格[4] KG 基础模型的无参数时间消息函数。Grate 通过两种互补的方式改进了基础模型的时间相似性判断。首先，它根据每个支持事实与查询的相对时间差对其消息进行旋转，因此时间对齐被表达为相对位移的函数，而不是绝对时间戳的同一性。其次，它应用一个查询条件门控，根据每个旋转消息与查询的对齐程度进行加权，使模型能够强调时间和语义上相关的证据。由于这两种机制仅依赖于相对时间差和现有的隐藏表示，Grate 不添加任何可学习参数，并保持了基础模型的可迁移性。

为了评估归纳迁移设置中的时序推理，我们构建了一组训练图与推理图之间实体、关系和时间戳均不重叠的 TKG 基准。实验表明，在大多数设置中，Grate 都能在强归纳基础模型之上提升零样本时序推理能力。Grate 与我们的归纳迁移基准共同表明，时序推理可以添加到归纳式 KG 基础模型中，而不牺牲无参数的可迁移性。

## 2 相关工作

### 2.1 时序知识图谱嵌入

**直推式插值（TKG 补全）。** TKG 补全模型预测训练时间范围内时间戳处的缺失事实。早期方法将时间作为评分函数的附加组成部分，包括 TTransE[1] 和 TA-DistMult[2]。后续工作如 TComplEx 和 TNTComplEx[3] 扩展了张量分解方法以更好地捕捉时间依赖关系。几何扩展包括基于旋转的时间嵌入编码，如 TeRo[4]。

**直推式外推（TKG 预测）。** TKG 预测模型通过基于 GNN 的子图演化[5,6,7,8,9]或基于规则和可解释的推理[10,11]，预测严格未来时间戳的事实。

**基于 LLM 的归纳式 TKG 推理。** 近期工作探索了使用文本描述和大语言模型对 TKG 进行归纳推理。ICL[1] 和 GenTKG[2] 利用实体描述、关系名称或上下文时序推理来迁移到未见过的时序事实，但其可迁移性源于文本语义而非结构表示。Grate 是纯粹结构驱动的，直接从图结构中学习可迁移的时序模式，无需文本注释或语言模型。

### 2.2 KG 基础模型

最近的工作已转向归纳式、词汇不可知的基础模型。NBFNet[1]、GraIL[2] 和 INDIGO[3] 引入了针对未见实体的查询条件消息传递，但假设关系词汇固定；INGRAM[4] 通过将关系建模为关系图中的节点来消除这一限制。Ultra[5] 和 Trix[6] 在此基础上进一步扩展，学习可迁移的关系结构，使得单一预训练检查点能够在不重叠实体和关系词汇的图谱之间操作。这些模型都没有处理时间问题；将它们提升到时序图谱而不牺牲可迁移性，正是 Grate 所解决的开放性挑战。

## 3 问题定义

### 3.1 时序知识图谱

一个 TKG 是一个结构 \(G=(V, R, T, Q)\)，其中 \(Q\) 是四元组 \((s, r, o, \tau) \in V \times R \times V \times T\)（观测事实）的集合，其中 \(s, o \in V\) 是主语和宾语实体，\(r \in R\) 是关系，\(\tau \in T\) 是时间戳。我们将时间戳集合 \(T\) 建模为自然数 \(\mathbb{N}\) 的有限子集，每个数据集的日历粒度（例如天、年）被吸收到整数编码中。

本文研究的推理任务是时序链接预测：给定查询 \((s, r, ?, \tau)\) 或 \((?, r, o, \tau)\)，预测指定时间戳 \(\tau\) 处的缺失实体。

### 3.2 推理设置

我们将推理设置定义为支配训练图与推理图之间关系的假设组合。在时序知识图谱中，该关系有两个正交维度：(i) 训练词汇与推理词汇之间的重叠，以及 (ii) 训练时间戳与推理时间戳之间的时序关系。

**词汇条件。** 我们将训练 TKG 记为 \(G_{\mathit{train}} = (V_{\mathit{train}}, R_{\mathit{train}}, T_{\mathit{train}}, Q_{\mathit{train}})\)，推理 TKG 记为 \(G_{\mathit{inf}} = (V_{\mathit{inf}}, R_{\mathit{inf}}, T_{\mathit{inf}}, Q_{\mathit{inf}})\)。*直推式* 设置共享训练和推理的实体和关系词汇，即 \(V_{\mathit{train}} = V_{\mathit{inf}}\) 且 \(R_{\mathit{train}} = R_{\mathit{inf}}\)；这是现有 TKG 嵌入方法学习每个实体、每个关系和每个时间戳嵌入的设置。归纳迁移设置（在 KG 基础模型中称为完全归纳设置[1,2]）使得三个集合不重叠（即 \(V_{\mathit{train}} \cap V_{\mathit{inf}}, R_{\mathit{train}} \cap R_{\mathit{inf}}, T_{\mathit{train}} \cap T_{\mathit{inf}}\) 均为空），因此绑定到实体、关系或时间戳词汇的表示在推理时自然不适用。模型在源图 \(G_{\mathit{train}}\) 上训练，并无需微调地应用于目标图 \(G_{\mathit{inf}}\)。

**时序条件。** 我们评估两种设置，均在推理图 \(G_{\mathit{inf}}\) 内定义：*插值*，其中测试事实的时间戳落在观测推理子图的时间范围内；*外推*，其中测试事实的时间戳严格在其后。

**现有基准对比我们的设置。** Grate 针对归纳迁移设置，在插值和外推两种评估机制下，这是先前 TKG 模型未涉及的一种组合。

## 4 NBFNet 风格的 KG 基础模型

我们基于 NBFNet 风格[1]的消息传递归纳知识图谱基础模型进行构建，包括 Ultra[2] 和 Trix[3]。

给定查询 \((s, r, ?)\)，模型用查询关系 \(r\) 初始化源实体 \(s\)。然后，消息传递在知识图谱的有向边 \((u \to v)\) 上进行。在第 \(\ell\) 层，每条边产生一条消息

\[
m_{uv}^{(\ell)} = \phi\left(h_u^{(\ell-1)}, r_{uv}\right), \tag{1}
\]

其中 \(\phi\) 是一个 KG 评分函数（例如 DistMult 或 TransE），\(h_u^{(\ell-1)}\) 是节点 \(u\) 上一层的表示，\(r_{uv}\) 是与边 \((u \to v)\) 关联的嵌入。然后聚合来自邻居节点的消息以更新节点 \(v\)：

\[
h_v^{(\ell)} = \operatorname{AGG}\!\left(\bigl\{ m_{uv}^{(\ell)} : u \in \mathcal{N}(v) \bigr\}\right). \tag{2}
\]

传统的 KG 模型为每种关系类型学习单独的嵌入，这阻止了向未见关系的迁移。归纳式 KG 基础模型转而构建一个*关系图* \(G_R\)，它来源于原始知识图谱，其中关系本身被视为节点。当两个关系节点在原始图中表现出兼容的结构交互模式（例如共享头实体或尾实体）时，它们之间相连。因此，关系图不依赖于特定实体地捕捉了关系类型之间的高阶依赖关系。

Ultra 和 Trix 通过在这个关系图上执行消息传递来计算关系表示：

\[
\{ r_{uv} \}_{(u,v) \in E} = \mathrm{RelGNN}(G_R \mid r). \tag{3}
\]

Ultra 使用四种关系交互类型（h2h、h2t、t2h、t2t）的单次聚合来构建关系表示，为每种关系生成基于计数的结构摘要。Trix 则在多个层次上迭代精炼关系图表示，并将关系图更新与实体图消息传递交错进行，从而产生更具表达力的查询条件关系表示。

在时序知识图谱中，每条边还带有一个时间戳，而公式 (1) 中的标准消息 \(m_{uv}^{(\ell)}\) 并未包含该信息。

## 5 方法：Grate

我们提出 Grate（门控旋转注意力用于时间编码），一种无参数机制，用于为 NBFNet 风格的 KG 基础模型添加时间信息。图 1 展示了 Grate 组件。

（图 1 标题：Grate 机制与集成。*(a)* 示例查询（Barack Obama, engage_in_negotiation, ?, Dec 2014）的四个处理步骤概览。 (1) 消息图中的观测支持事实。 (2) 由 KG 评分函数计算出的语义基础消息 \(m_{uv} = \phi(h_u, r_{uv})\)。 (3) 相对时间旋转：每个基础消息被 \(R(\Delta t_{uv})\) 旋转，其中 \(\Delta t_{uv} = \tau - t_{uv}\)，以多种频率编码时间位移。 (4) 查询条件门控：旋转后的消息与查询状态 \(Q_q\) 进行比较，通过 \(g = \sigma(Q_q^\top m^{\mathrm{rot}} / \sqrt{d})\) 产生一个分数，得到的门控消息被转发给基础模型。 *(b)* Grate 通过仅替换实体侧消息函数，集成到 NBFNet 风格的 KG 基础模型中。）

### 5.1 旋转式相对时间编码

时序知识图谱推理不仅依赖于结构连通性，还依赖于支持事实如何相对于查询时间演变。在许多时序推理任务中，更接近查询时间戳的事实通常比时间上更远的事实更具信息量，并且不同的支持事件根据其与查询的时间位移，会产生不同的贡献。因此，一个时间消息函数应能捕捉相对时间演变，并根据支持事实与查询的时间差来编码其不同的影响。

具体地，对