超越特征与结构对齐:为图基础模型学习可迁移的传播知识
摘要
这篇arXiv论文介绍了ProGFM,一种传播感知的图基础模型,将边与特征维度之间的传播关系视为可迁移的知识单元,从而实现自适应聚合并提升跨域泛化能力。
arXiv:2607.28980v1 公告类型:新
摘要:图基础模型(GFMs)近期作为一种跨领域知识迁移的新兴范式而出现。与传统通常针对域内场景设计的图学习方法不同,GFMs旨在学习可迁移的知识,以泛化到未见过的图领域。然而,与语言或视觉数据不同,图数据缺乏内在且统一的表示单元(例如语言中的token和视觉中的patch),这使得为构建图基础模型识别可迁移的知识单元变得具有挑战性。现有的图基础模型主要集中于通过特征对齐和结构对齐来缓解域差异,而忽视了图数据中可迁移知识单元的探索。此外,这些方法通常依赖消息传递过程中的固定传播机制,忽视了传播模式的异质性,因为不同的边可能针对不同的特征维度表现出不同的传播模式。为解决这些局限,我们提出了一种传播感知的图基础模型(ProGFM),将边与特征维度之间的传播关系视为可迁移的知识单元。通过传播关系原型库,ProGFM学习跨域可迁移的传播知识,从而在未见过的图领域中实现自适应信息聚合。在多种跨域迁移场景中的大量实验表明,ProGFM具有强大的跨域知识迁移能力,并且与现有方法相比展现出更优的泛化性能。
查看缓存全文
缓存时间: 2026/08/03 07:35
###### 摘要
图基础模型(GFMs)近年来已成为一种颇具前景的范式,能够支持跨不同领域的知识迁移。与通常针对域内场景设计的传统图学习方法不同,GFMs 旨在学习可迁移的知识,从而泛化到未见过的图领域。然而,与语言或视觉数据不同,图缺乏内在且统一的表示单元(例如语言中的词元、视觉中的图像块),这使得识别用于构建图基础模型的可迁移知识单元变得具有挑战性。现有图基础模型主要致力于通过特征对齐和结构对齐来缓解域间差异,而忽略了对图数据底层可迁移知识单元的探索。此外,这些方法在消息传递过程中通常依赖固定的传播机制,忽视了传播模式的异质性——不同的边可能对不同的特征维度表现出不同的传播模式。为解决这些局限性,我们提出了一种传播感知图基础模型(ProGFM),将边与特征维度之间的传播关系视为可迁移的知识单元。通过传播关系原型库,ProGFM 学习跨域可迁移的传播知识,从而在未见过的图领域实现自适应信息聚合。在多种跨域迁移场景中的大量实验表明,ProGFM 具有强大的跨域知识迁移能力,并且与现有方法相比展现出更优的泛化性能。
图神经网络、图表示学习、图基础模型
††版权:无††会议:;;
## 1. 引言
图作为一种强大的数据形式,用于建模现实世界中的复杂关系,已被广泛应用于各类领域,例如社交网络(Fan et al., 2019)、推荐系统(Wu et al., 2023)和交通网络(Jiang and Luo, 2022)。为有效挖掘图数据中包含的信息,研究者提出了众多图神经网络(GNNs),例如 GCN(Kipf and Welling, 2017)和 GAT(Velickovic et al., 2018)。然而,这些方法通常针对域内场景设计,在应用于新的图领域时往往需要重新构建(Liu et al., 2023b)。随着基础模型在自然语言处理和计算机视觉领域取得显著成功,图基础模型(GFMs)近年来受到越来越多的关注(Wang et al., 2025c)。GFMs 旨在从多领域图数据中学习可迁移的图知识,从而有效泛化到未见过的图领域(Yuan et al., 2025)。
与语言或视觉数据不同,图缺乏内在且统一的表示单元,例如语言中的词元和视觉中的图像块(Yu et al., 2025a; Eliasof et al., 2026)。图通常源自对现实世界中复杂关系系统的抽象建模,其中节点、边和特征在不同领域往往具有不同的含义(Liu et al., 2023a)。例如,社交网络中的用户属性、引文网络中的文本特征以及分子图中的原子属性都具有不同的领域特定语义。这一根本性差异使得识别图数据底层的可迁移知识单元变得具有挑战性,而这已成为开发通用图基础模型的关键障碍。
现有图基础模型主要通过对齐来自不同领域的图数据来实现跨域泛化。特征对齐方法尝试通过特征映射或特征重构将不同领域的图特征转换到共享表示空间(Shan et al., 2026a; Zhao et al., 2026)。结构对齐方法通过图结构转换或结构重构来减少结构差异(Wang et al., 2025b, 2026)。然而,这些方法主要缓解了图领域间的分布偏移,而忽略了对图数据底层可迁移知识单元的探索,从而限制了其实现有效跨域知识迁移的能力。
此外,识别图数据底层的可迁移知识单元需要考虑一个重要的图属性——消息传播模式,这是同时嵌入结构和特征的基本机制。现有图基础模型通常在消息传递过程中依赖固定的传播机制(Zhao et al., 2026; Yu et al., 2024)。实际上,由于语义和关系模式的异质性(Li et al., 2026),不同的边可能对不同的特征维度表现出不同的传播模式。这种固定传播机制忽视了传播模式的异质性,隐含地假设不同特征可以以相同方式沿边传播,从而限制了现有图基础模型的表达能力。
为解决这些局限性,关键步骤是识别可迁移的知识单元,这些知识单元能够表示真正可迁移的图知识,并建模多样化的传播模式。我们认为,边与特征维度之间的传播关系有潜力作为此类可迁移知识单元。与在不同图领域间差异显著且难以直接迁移的特征语义不同,边与特征维度之间的传播关系表现出更强的跨域可迁移性。具体来说,在不同图领域之间,某些边在特定特征维度上可能具有相似的传播关系(类似于先前研究中特征维度层面的同质性(Yang et al., 2021; Wang et al., 2026)),因此对应相似的传播模式,即使这些特征承载完全不同的语义。
基于上述观察,我们提出了一种传播感知图基础模型(ProGFM),将边与特征维度之间的传播关系视为可迁移的知识单元。与现有主要通过特征对齐实现跨域适应的方法(Zhao et al., 2026)不同,ProGFM 不假设不同领域中同一特征维度具有一致的语义。相反,它基于连接节点之间的相对特征差异,对每条边与每个特征维度之间的传播关系进行建模。通过构建传播关系原型库,ProGFM 捕获跨域可迁移的传播知识,并在未见过的图领域实现自适应信息聚合。通过这种方式,ProGFM 将跨域共享的传播关系视为可迁移知识单元,为开放图环境中的知识迁移提供了新视角。
我们的主要贡献总结如下:
- • 我们为图基础模型引入了知识迁移的新视角。我们揭示了边与特征之间的传播关系可以充当独立于具体领域语义的可迁移知识单元,为开放图环境中的通用图建模提供了新方向。
- • 我们提出了 ProGFM,一种显式建模边与特征维度之间传播关系的图基础模型框架。通过传播关系原型库,ProGFM 可以学习跨域可迁移的传播知识,并有效泛化到未见过的图领域。
- • 我们在多种跨域迁移场景中进行了大量实验,以系统评估 ProGFM 的有效性和可迁移性。结果表明,与现有图基础模型相比,ProGFM 在未见过的图领域上实现了更优的泛化性能。
## 2. 预备知识
在本节中,我们介绍本文使用的预备概念和符号。具体而言,我们首先介绍图数据的定义和图基础模型的概念,然后介绍相对特征差异的定义。相对特征差异用于量化连接节点在每个特征维度上的相对差异,并将进一步用于建模传播关系。
### 2.1 图数据
形式上,图可以表示为 \(G=(V,\mathcal{E},\mathbf{A},\mathbf{X},\mathbf{Y})\),其中 \(V=\{v_{1},v_{2},\dots,v_{N}\}\) 表示节点集,\(\mathcal{E}\) 表示边集。\(\mathbf{A}\in\mathbb{R}^{N\times N}\) 表示邻接矩阵,其中 \(A_{ij}\) 指示节点 \(v_{i}\) 和 \(v_{j}\) 是否相连。\(\mathbf{X}\in\mathbb{R}^{N\times d}\) 表示节点特征矩阵,其中 \(d\) 表示特征维度。\(\mathbf{Y}=\{y_{1},y_{2},\dots,y_{N}\}\) 表示节点标签。对于节点 \(v_{i}\),其特征向量记为 \(\mathbf{x}_{i}=[x_{i,1},x_{i,2},\dots,x_{i,d}]\),其中 \(x_{i,k}\) 表示第 \(k\) 个特征维度的值。
### 2.2 图基础模型
给定来自多个领域的图集合,记为 \(\mathcal{G}_{pre}=\{G^{(1)},G^{(2)},\dots,G^{(M)}\}\),图基础模型旨在从这些多样的预训练图中学习跨域可迁移的图知识。对于未见过的目标图领域 \(G^{(t)}\notin\mathcal{G}_{pre}\),图基础模型可以基于从 \(\mathcal{G}_{pre}\) 中学到的知识实现有效适应。
### 2.3 相对特征差异
**定义 2.1(相对特征差异)**。给定一条连接节点 \(v_{i}\) 和 \(v_{j}\) 的边 \(e_{ij}\in\mathcal{E}\),我们定义连接节点在每个特征维度上的相对特征差异。具体而言,对于第 \(k\) 个特征维度,相对特征差异计算如下:
\(1\) \(r_{ij,k}=\frac{\left\|x_{i,k}-x_{j,k}\right\|}{\text{range}_{k}},\)
\(2\) \(\text{range}_{k}=\text相似文章
AgentGFM: 一种具有节点智能体信息流控制的图基础模型
AgentGFM 提出了一种图基础模型,其中每个节点充当具有共享可训练策略的智能体,通过预测-行动-观察-修正过程实现自适应信息流控制。它在节点级、图级和大规模迁移任务中均取得了优异性能。
面向联邦多模态图基础模型:一种拓扑感知的多模态对齐框架
提出了FedGAMMA,一种联邦多模态图基础学习框架,通过两阶段预训练和基于提示的微调,对齐多模态属性和图拓扑,在多个数据集上取得了显著提升。
面向多标签图基础模型:从单向量表示学习到多语义基学习
本文提出了MSB-GFM,一种用于跨领域多标签节点分类的多语义基图基础模型,通过将节点表示为语义基的自适应组合来解决语义纠缠问题。
通过激活引导剪枝实现跨模型尺度的无训练知识迁移
本文提出激活-剪枝-合并(APM),一个无训练的跨尺度融合框架,通过使用更大的供体模型来改进较小的语言模型,无需语义对齐,在多个基准测试中取得了性能提升。
知识图谱嵌入的模式过度泛化
本文提出了PogRE方法,通过使用密集线性变换来解决知识图谱嵌入中的模式过度泛化问题,从而在标准基准数据集上提升链接预测性能。