具体化作为可转移词汇:使用标准GNNs的零样本链接预测

arXiv cs.LG 论文

摘要

本文提出将输入图具体化为固定词汇表,使标准GNNs能够跨未见过的知识图谱和关系数据库实现零样本链接预测,匹敌像ULTRA这样的专用基础模型。

arXiv:2609.11347v1 公告类型:新 摘要:知识图谱基础模型如ULTRA通过专用架构实现零样本链接预测,这些架构硬编码了转移机制。在本工作中,我们通过\emph{具体化}输入图,将该机制从架构移至表示中:每个事实成为一个节点,通过六个元关系的固定词汇表连接其主体、客体和关系类型,关系类型作为匿名共享节点而非模型参数。在此表示上,五个教科书式的GNNs(GAT、带求和和均值+最大聚合的GINE、GraphSAGE、R-GCN),每个在4,245个三元组的单一知识图谱上训练30分钟,使用一块NVIDIA A100,零样本迁移到40个归纳链接预测基准。其中最好的是现成的GAT,它在ULTRA自身的评估套件中匹敌ULTRA,后者是在三个图上预训练的专用基础模型。相同的固定词汇表扩展到关系数据库,其中一行成为一个实体,一个外键列成为一个关系类型;对两个未见过数据库的初步探测,没有单元格值、模式文本或上下文标签,显示这种在三个知识图谱上预训练的模型家族将外键目标排名远高于随机初始化和度控制。我们发布了所有40个基准的代码、检查点和评估流程。
查看原文
查看缓存全文

缓存时间: 2026/09/11 08:35

# 实体化作为可迁移词汇:基于普通图神经网络的零样本链接预测  
来源:https://arxiv.org/html/2609.11347  

###### 摘要  
知识图谱基础模型(如 ULTRA)通过专用架构中硬编码的迁移机制,实现了对未见图的零样本链接预测。本文将该机制从架构中剥离并融入表示层,通过**实体化**输入图实现这一目标:每个事实转化为一个节点,通过六个固定元关系与各自的主语、宾语及关系类型相连;关系类型则作为匿名共享节点而非模型参数。在此表示基础上,五种经典图神经网络(GAT、分别使用求和与均值+最大聚合的 GINE、GraphSAGE、R-GCN)在单块 NVIDIA A100 上,仅基于一个包含 4,245 个三元组的知识图谱训练 30 分钟,即可零样本迁移至 40 个归纳式链接预测基准。其中最优的现成 GAT 模型,与专用基础模型 ULTRA(基于三个图预训练)在 ULTRA 自身评估套件中表现持平。该固定词汇表同样适用于关系数据库:一行数据视为一个实体,外键列视为关系类型;在针对两个未见数据库(无单元格值、无模式文本、无上下文标签)的初步探查中,一个基于三个知识图谱预训练的此类模型,其对外键目标的排序远优于随机初始化和度控制基线。我们开源了全部 40 个基准的代码、检查点和评估流程。  

## 1 引言  
基础模型的范式(在大规模数据上预训练,零样本应用于未见输入)依赖于共享的输入词汇表。语言模型能处理任何文档,因为所有文档都使用相同的标记。关系数据缺乏此类共享词汇:每个知识图谱定义自己的实体与关系类型;每个关系数据库还额外添加私有层——在其他地方找不到的表结构与列模式,其外键扮演着知识图谱中关系类型的角色。任何为词汇表项(实体嵌入、关系嵌入、每表编码器)分配参数的模型,在结构上都无法读取新数据集。近期关于图基础模型的研究将此确定为核心开放问题:寻找**跨图共享的可迁移词汇表**(Mao et al., 2024)。目前有两条研究路径解答该问题,但各自局限于单一数据模型且需专用架构。在知识图谱方面,**知识图谱基础模型**(KGFMs)实现结构迁移:ULTRA(Galkin et al., 2024)基于查询条件学习关系图中四种固定关系-关系交互的相对关系表示;TRIX、MOTIF 和 Gamma 细化了相同设计;Flock 用随机游走序列编码取代消息传递;基于提示和上下文的变体则通过图提示条件化预训练推理器;SEMMA 则添加关系名称的文本嵌入。这些模型能泛化至未见实体和关系,但仅限知识图谱,且迁移机制硬编码于定制架构中。在关系数据库方面,**关系基础模型**通过模式文本与上下文条件化实现迁移:关系 Transformer(Ranjan et al., 2026)将每个单元格与列名和值文本一起分词;KumoRFM(Hudovernik et al., 2026)在关系图 Transformer 上学习上下文。这些能泛化至未见模式,但仅限关系数据库。知识图谱自然可存储为数据库(作为三元组表或按关系类型分表),其关系名称提供薄层模式文本;但标准链接预测基准无法提供承载这些模型主要迁移能力的标签任务表(第2节)。没有单一模型能覆盖两者,且所有模型的迁移机制都内置于模型中。  

我们的思路是将问题从架构转移至表示层。我们**实体化**数据(图1):每个事实转化为节点,通过六个固定元关系与主语、宾语及关系类型相连。关系类型成为**匿名共享节点**而非模型参数;数据库中的实体类型(表)同理。这些节点是共享的,因为相同关系的不同事实指向同一关系类型节点,“属于同类”成为图中的结构而非嵌入表中的行。它们也是匿名的,因为不携带任何学习到的身份信息:模型仅读取节点的类型及其结构位置。实体化后,每个数据集成为基于相同有限输入词汇的同质图:三种节点类型(实体、事实、关系类型),数据库中添加实体类型后为四种;六种元关系,添加 `is_a` 及其逆关系后为八种。数据集特有的信息将不再需模型参数化。任何对节点归纳的图神经网络,若通过标记技巧实现查询条件化(Zhang et al., 2022),即可在一个数据集上训练并直接应用于任何其他数据集。问题随之转化为实证研究:在表示固定且架构刻意通用的前提下,还剩多少零样本归纳迁移能力?我们报告两个发现与一个探查。  

1. **零样本迁移可直接使用未修改架构实现**。五种经典骨干网络(GAT、分别使用求和与均值+最大聚合的 GINE、GraphSAGE、R-GCN)在单一冻结配置下(64 维、12 层、单块 NVIDIA A100 上 30 分钟预算、3 个固定随机种子),基于一个包含 4,245 个三元组的知识图谱训练后,均可零样本迁移至 40 个归纳基准。除一例外情况外(经识别与解释,见第5.3节),所有模型均未崩溃,且它们在评估面板间的排序稳定,至多一次交换(第5.1节)。  

2. **其中最优者匹配专用基础模型**。在全部 40 个基准上,GAT 平均得分为 0.3565 ± 0.0049,而 ULTRA 使用我们的评估代码从其公开检查点重新运行得分为 0.3732;在训练数据家族均未出现于预训练语料的 13 个基准上,得分为 0.3600 ± 0.0055,ULTRA 为 0.3617;在 12 个归纳-(e) GraIL 基准上得分更高,为 0.5457,ULTRA 为 0.5224(第5.2节)。  

3. **相同表示在关系数据库上的探查**。一个基于三个知识图谱预训练的此类模型,应用于两个未见实体化数据库(无特征、无微调、无模式文本、无上下文标签)时,其对外键目标的排序远优于随机初始化和度控制基线,而第5节的单图模型则未能做到(第6节)。此处检验词汇表对两种数据模型的覆盖能力;我们将其报告为初步探查而非迁移结果。  

我们并非宣称超越最先进水平:ULTRA 在全聚合指标上仍领先;细化 ULTRA 设计的 KGFMs(TRIX、MOTIF、Gamma、Flock)在归纳-(e) 划分上公布的数据比 ULTRA 高出最多 0.03 MRR(表5);第5.4节表明选择不同训练图无法弥合剩余差距。本文的贡献在于证明:固定结构表示能承载大部分零样本归纳迁移能力,而无需任何专用机制。该表示作为编码方式并非新创:文献中已用实体化处理 n 元事实;HYPER(Huang et al., 2026)将其视为敌对基线,表明在普通知识图谱上预训练的 ULTRA 对实体化图迁移性差。据我们所知,尚无先前工作原生地在实体化上预训练或将其提出作为跨数据集迁移机制(第2节)。  

## 2 相关工作  
**归纳链接预测与知识图谱基础模型**。GraIL(Teru et al., 2020)通过子图推理引入了针对未见实体的归纳关系预测(归纳-(e) 场景);NBFNet(Zhu et al., 2022)使源条件化全图传播成为主流骨干;A*Net 和 AdaProp 解决了其成本问题(Zhu et al., 2023; Zhang et al., 2023)。InGram(Lee et al., 2023)首次通过关系图针对未见*关系*(归纳-(e,r))。ULTRA(Galkin et al., 2024)将该关系图思想转化为首个 KGFM:从包含四种基本交互(h2h, h2t, t2h, t2t)的关系图中生成相对关系表示,通过两个堆叠的 NBFNet 风格条件 MPNN 基于查询条件化。TRIX(Zhang et al., 2025)增加递归的实体/关系更新并具有可证明的更高表达力;MOTIF(Huang et al., 2025)刻画了基于二元关系模体的 KGFMs 的表达能力;Gamma(Xin et al., 2025)添加多几何注意力;Flock(Kim et al., 2025)打破此设计,用随机游走序列编码取代消息传递。在 GraIL 和 InGram 划分上,TRIX 和 Flock 公布了四个模型中最高的零样本得分(第5.2节,表5)。基于提示和上下文的 KGFMs(Cui et al., 2024; Wang et al., 2024; Gao et al., 2026)通过图提示条件化预训练推理器;SEMMA(Arun et al., 2025)添加关系名称的 LLM 文本嵌入。除 Flock 和上下文系列外,这些模型都是 ULTRA 关系图设计的直接后裔;ULTRA 仍是该家族的共同参照点,我们的评估也以此为基础(第4节)。所有这些仅限知识图谱的专用架构:迁移机制内置于模型中。我们将其置于数据中。ULTRA 的关系图也是结构变换,但仅 ULTRA 能消费它;实体化图可被任何节点归纳的图神经网络读取,本文即是该替代测试。  

**关系深度学习与关系数据库基础模型**。关系深度学习(Fey et al., 2023)将关系数据库视为异构时序图,即*关系实体图*;RelBench(Robinson et al., 2024)是其基准套件。两个基础模型实现跨数据库迁移:关系 Transformer(RT)(Ranjan et al., 2026)将每个单元格与列名和值一起分词并在掩码单元格上预训练;KumoRFM(Hudovernik et al., 2026)是其商业对应物,在关系图 Transformer 上学习上下文。其零样本迁移的驱动力从 RT 的上下文消融实验中可见:首先是目标实体的上下文标签,其次是模式文本;由于 RelBench 数据库间列名重叠接近零,RT 推断其也必须利用结构关系模式(Ranjan et al., 2026)。这些机制在裸知识图谱上均不可用。知识图谱可存储为数据库(作为三元组表或按关系类型分表),其关系名称提供薄层模式文本;但链接预测基准未提供可供条件化的标签任务表,而这是主要迁移通道。任务上也存在差距:RT 的预训练预测值单元格,外键影响其注意力但从未作为预测目标,作者将链接预测列为超范围,因此 RT 无法出现在第5节的知识图谱评估或第6节的无特征探查中。  

我们因此通过三种可组合迁移机制的混合来描述每个家族:结构不变式、模式文本、基于标签示例的上下文条件化(表1)。我们的表示仅使用第一种:推理时仅消费目标数据集,无其他信息。  

表1:基于迁移机制的定位(S = 结构不变式,T = 模式/关系名称文本,C = 基于标签示例的上下文条件化)。  

**实体化**。将边转化为节点是经典做法:图论中的 Levi 图与超图的星型扩展(Agarwal et al., 2006)。以边而非实体为中心的消息传递已用作链接预测的架构工具:PathCon(Wang et al., 2021)聚合实体对周围的上下文与关系路径,不使用任何实体嵌入;RMPI(Geng et al., 2023)在封闭子图的线图上于边间传播,以同时处理未见关系与未见实体,当本体模式可用时从中抽取关系语义。两者都将边中心视角保持在具有关系特定参数的专用模型内;而本文将该视角一次性写入数据,关系类型作为匿名节点,使得无关系参数的同质图神经网络能读取它。在知识图谱文献中,实体化是标准编码...

相似文章

基于GNN的链接预测综述:技术、应用与挑战

arXiv cs.AI

本综述从专门的GNN视角全面回顾了基于GNN的链接预测,按技术(GCN、GAE、GAT、GFormer)和应用(知识图谱、推荐系统)对近期进展进行分类,并讨论了挑战与未来方向。

面向零样本数字孪生的图神经网络方法

arXiv cs.LG

本文提出了一种新颖的零样本数字孪生框架,该框架将实时视觉感知与几何无关、物理驱动的图神经网络相结合。该方法采用热力学驱动的图神经网络,强制执行能量守恒和熵产生,从而无需重新训练即可在未见过的几何体上实现物理准确的模拟。

基于模型重编程的GNN模型提取防御

arXiv cs.LG

本文提出了GraphRP,一种利用模型重编程的主动防御框架,用于保护GNN免受模型提取攻击,其采用结构感知门控机制,在降低对抗查询有效性的同时保持良性查询的效用。

知识图谱嵌入的模式过度泛化

arXiv cs.CL

本文提出了PogRE方法,通过使用密集线性变换来解决知识图谱嵌入中的模式过度泛化问题,从而在标准基准数据集上提升链接预测性能。