SAOT：基于结构感知最优传输的自监督持续图学习

# SAOT: 面向结构感知最优传输的自监督持续图学习
来源: https://arxiv.org/html/2607.00377
###### 摘要

自监督持续图学习（CGL）旨在无标签监督条件下，从一个包含不同任务的图序列中持续学习——这一范式已引起广泛关注。现有大多数自监督CGL方法依赖于实例级一致性目标，这些目标强制单个节点（或节点对）嵌入的稳定性。由于孤立地优化节点，这些方法无法保持全局关系结构，导致持续学习过程中节点间的对应关系逐渐扭曲。为此，我们提出了一种新颖的结构感知最优传输（SAOT）框架，该框架显式捕获并保持连续任务间图表示中的关系结构。具体而言，SAOT利用最优传输理论捕获全局节点间对应关系，从而促进并增强图表示学习。同时，SAOT引入了一种跨任务知识蒸馏机制，以保留先前的结构知识。在四个CGL基准数据集上的大量实验表明，SAOT优于现有的自监督基线方法。特别是在Class-IL设置下，SAOT在CoraFull-CL和Products-CL数据集上相较于最先进方法，平均准确率分别提升了高达5%和超过15%。

机器学习，ICML

## 1 引言

图数据在现实应用中无处不在，它们通过丰富的依赖关系对复杂系统进行建模，例如引文网络、电子商务系统和生物化学分子（Hamilton等，2017 (https://arxiv.org/html/2607.00377#bib.bib2)；Wu等，2021 (https://arxiv.org/html/2607.00377#bib.bib1)）。尽管图表示学习取得了显著进展，但大多数现有方法是为静态设置设计的，其中假设数据分布是平稳的（Kipf和Welling，2017 (https://arxiv.org/html/2607.00377#bib.bib3)；Veličković等，2018 (https://arxiv.org/html/2607.00377#bib.bib4)）。相反，现实世界的图数据是持续生成的，新的节点、边或任务随时间不断出现（Wang等，2020 (https://arxiv.org/html/2607.00377#bib.bib5)）。例如，关于新研究主题的论文持续进入引文网络，而在药物发现任务中会逐步遇到新颖的分子属性（Liu等，2021 (https://arxiv.org/html/2607.00377#bib.bib11)；Zhang等，2022b (https://arxiv.org/html/2607.00377#bib.bib7)）。为应对这种不断演变的数据，图模型需要增量地获取新知识，同时保持先前学习任务的性能，这一学习范式被称为持续图学习（CGL）（Zhou and Cao，2021 (https://arxiv.org/html/2607.00377#bib.bib6)；Zhang等，2022b (https://arxiv.org/html/2607.00377#bib.bib7)）。然而，在传入数据上顺序训练模型容易导致灾难性遗忘（McCloskey and Cohen，1989 (https://arxiv.org/html/2607.00377#bib.bib8)；Goodfellow等，2014 (https://arxiv.org/html/2607.00377#bib.bib9)），而在所有累积数据上重新训练模型计算成本高昂，且在历史数据不可用时常常不可行。

为缓解灾难性遗忘，现有CGL方法通常分为三类。参数隔离方法（Zhang等，2023 (https://arxiv.org/html/2607.00377#bib.bib16)；Cai等，2022 (https://arxiv.org/html/2607.00377#bib.bib15)）为每个任务分配特定参数或模块，以避免任务间的干扰。基于正则化的方法（Kirkpatrick等，2017 (https://arxiv.org/html/2607.00377#bib.bib10)；Liu等，2021 (https://arxiv.org/html/2607.00377#bib.bib11)）通过对先前学习任务的重要参数或输出施加惩罚，约束参数更新。基于重放的方法（Zhou and Cao，2021 (https://arxiv.org/html/2607.00377#bib.bib6)；Zhang等，2022a (https://arxiv.org/html/2607.00377#bib.bib12)）显式存储少量历史节点或子图，并在训练过程中重放它们以保持过去的知识。尽管这些方法已展示出有效性，但它们通常依赖显式监督。然而，标注复杂的图数据往往耗时耗力，有时甚至不切实际，特别是当图以在线方式连续出现时。

因此，推进自监督持续图学习至关重要，使模型能够直接从无标签的流式数据中获取知识。基于上述必要性，最近的研究（Sun等，2023 (https://arxiv.org/html/2607.00377#bib.bib19)；Peng等，2025 (https://arxiv.org/html/2607.00377#bib.bib14)）探索了用于持续图学习场景的自监督方法。特别是，TRACE（Peng等，2025 (https://arxiv.org/html/2607.00377#bib.bib14)）对持续设置下代表性的自监督图表示学习范式进行了系统的实证研究，表明在缺乏标签监督的情况下，自监督图模型（Kipf and Welling，2016 (https://arxiv.org/html/2607.00377#bib.bib20)；You等，2020b (https://arxiv.org/html/2607.00377#bib.bib31)；Bielak等，2022 (https://arxiv.org/html/2607.00377#bib.bib26)）能学习到比有监督对应模型更具迁移性和稳定性的表示。

然而，现有大多数自监督CGL方法依赖于实例级一致性目标，将每个节点（或节点对）视为独立的学习实例，以稳定单个节点嵌入（Sun等，2023 (https://arxiv.org/html/2607.00377#bib.bib19)；Peng等，2025 (https://arxiv.org/html/2607.00377#bib.bib14)）。尽管这些方法有效促进了局部嵌入稳定性，但它们忽略了流式图数据的一个关键特性：长期知识不仅编码在孤立的嵌入中，还编码在表示空间内的关系结构中。因此，即使单个节点嵌入保持局部稳定，节点间的关系也可能逐渐扭曲——这种现象称为结构漂移，表现为连续任务间节点相对距离或整体组织结构的改变。由于现有大多数目标未显式建模关系依赖，这种漂移会随时间累积，最终损害长期知识保持能力。

为此，我们提出了一种基于结构感知最优传输的新型自监督持续图学习框架，命名为SAOT。具体而言，SAOT利用最优传输（OT）理论来编码所有节点间的关系结构。在每个任务中，SAOT构建一个最优传输计划，该计划联合捕获图空间中节点间的对应关系。该计划被用作结构参考，引导编码器学习结构感知且可迁移的节点表示。为减轻连续任务引起的结构漂移，SAOT采用跨任务知识蒸馏来保持先前的结构信息。通过上述两个模块的协调运作，SAOT使模型能有效适应新任务，同时巩固先前学习的结构知识，实现可塑性与稳定性之间的最佳平衡。总结而言，所提出的SAOT的主要贡献如下：

- • 我们提出SAOT，一种新颖的自监督持续图学习框架，利用最优传输在连续任务间建模并保持图表示中的关系结构。
- • 我们设计了一种跨任务知识蒸馏机制，通过在任务间蒸馏表示空间上定义的最优传输计划来保持关系结构，从而有效缓解持续学习下的结构漂移问题。
- • 我们在四个CGL基准数据集上，在Class-IL和Task-IL设置下进行了广泛实验。实验结果表明，所提出的SAOT优于现有的自监督基线方法。特别地，在Class-IL设置下，相较于最先进方法，SAOT在CoraFull-CL数据集上平均准确率提升高达5%，在Products-CL数据集上提升超过15%。

## 2 相关工作

### 2.1 持续图学习

受计算机视觉领域持续学习近期进展的启发，近年来已提出多种用于CGL的方法，以应对流式图数据的学习（Babakniya等，2024 (https://arxiv.org/html/2607.00377#bib.bib36)；Lee等，2024 (https://arxiv.org/html/2607.00377#bib.bib35)）。从方法论角度看，现有CGL方法大致可分为三类。参数隔离方法（Cai等，2022 (https://arxiv.org/html/2607.00377#bib.bib15)；Zhang等，2023 (https://arxiv.org/html/2607.00377#bib.bib16)）通过专门架构（如扩展网络、任务特定模块或门控路由机制）分配任务特定参数或网络组件，以防止任务间干扰。基于重放的方法（Zhou and Cao，2021 (https://arxiv.org/html/2607.00377#bib.bib6)；Zhang等，2022a (https://arxiv.org/html/2607.00377#bib.bib12)；Liu等，2023 (https://arxiv.org/html/2607.00377#bib.bib17)；Zhang等，2024 (https://arxiv.org/html/2607.00377#bib.bib18)）通过维护一个存储先前任务信息的内存缓冲区，并在学习新任务时重放它们，来缓解灾难性遗忘。基于正则化的方法（Kirkpatrick等，2017 (https://arxiv.org/html/2607.00377#bib.bib10)；Liu等，2021 (https://arxiv.org/html/2607.00377#bib.bib11)；Sun等，2023 (https://arxiv.org/html/2607.00377#bib.bib19)）通过对模型参数、节点嵌入或输出预测施加一致性约束，限制跨任务的参数更新或表示变化。

然而，现有大多数CGL方法严重依赖监督信号（如节点或图标签），这限制了它们在现实场景中的适用性。相比之下，针对无监督或自监督CGL的研究仍然相对不足。最近，一个值得注意的尝试是RieGrace（Sun等，2023 (https://arxiv.org/html/2607.00377#bib.bib19)），它提出了一个结合GNN与CurvNet的统一框架，显式处理黎曼空间中的任务特定适应，并采用无标签的洛伦兹蒸馏机制来缓解灾难性遗忘。受互补学习系统理论的启发，TRACE（Peng等，2025 (https://arxiv.org/html/2607.00377#bib.bib14)）采用双系统框架，在无需外部监督的情况下缓解灾难性遗忘。具体而言，快速学习系统通过节点代理提取关键知识，而慢速学习系统通过自适应间隔回放巩固记忆。

### 2.2 自监督图学习

自监督图学习旨在不依赖显式标签的情况下，通过利用内在的结构和属性信号来学习富有表现力的节点或图表示。早期方法（Kipf and Welling，2016 (https://arxiv.org/html/2607.00377#bib.bib20)；Jin等，2020 (https://arxiv.org/html/2607.00377#bib.bib23)）主要基于生成式目标，如图自编码器和变分图自编码器，它们从潜在表示中重建节点特征或图结构。较新的方法（Veličković等，2019 (https://arxiv.org/html/2607.00377#bib.bib22)；You等，2020a (https://arxiv.org/html/2607.00377#bib.bib21)；Zhu等，2020 (https://arxiv.org/html/2607.00377#bib.bib24)）采用对比学习范式，通过最大化同一图不同增广视图之间的一致性，同时与其他样本进行对比，来学习表示。这些方法在各种下游任务中展示出良好性能。除对比学习外，还提出了冗余减少和非对比范式（Lee等，2022 (https://arxiv.org/html/2607.00377#bib.bib27)；Thakoor等，2022 (https://arxiv.org/html/2607.00377#bib.bib25)；Bielak等，2022 (https://arxiv.org/html/2607.00377#bib.bib26)），以消除对负样本的依赖。这些方法通过显式最小化特征冗余或对齐跨视图统计量，学习跨增广视图的不变表示。然而，大多数方法是在完整数据可用的假设下离线训练的，这并未反映图数据随时间依次出现的现实情况。

## 3 预备知识

在本节中，我们简要回顾最优传输，它是我们方法的关键技术基础。然后我们正式定义所研究的范式：自监督持续图学习。

### 3.1 传输计划与最优传输

最优传输问题最初是为了研究将一堆沙的形状运送到另一堆形状的最具成本效益的方式（Wang等，2023 (https://arxiv.org/html/2607.00377#bib.bib28)）。具体而言，它研究如何以最小总运输成本（即最优传输距离）将分布 \\mu 变换为另一个分布 \\nu 。这个传输计划称为最优计划 \\pi ，其中 \\pi 的元素描述了将质量从一个位置移动到另一个位置的概率。形式上，给定两组特征 \\{\mathbf{X}_{1}\\} = \{\mathbf{X}_{1}^{i}\}_{i=1}^{n} 和 \\{\mathbf{X}_{2}\\} = \{\mathbf{X}_{2}^{j}\}_{j=1}^{m} ，其中 n 和 m 是特征数量， \\mu \in \mathbb{R}^{n} 和 \\nu \in \mathbb{R}^{m} 分别是两组中实体的概率分布。OT距离的公式为

\mathcal{D}(\mathbf{X}_{1},\mathbf{X}_{2}) = \min_{\pi \in \Pi(\mu,\nu)} \sum_{i \in [\![n]\!]} \sum_{j \in [\![m]\!]} c_{\mathcal{X}}(\mathbf{X}_{1}^{i},\mathbf{X}_{2}^{j}) \cdot \pi_{ij}, (1)

简写为

\mathcal{D}(\mathbf{X}_{1},\mathbf{X}_{2}) = \min_{\pi \in \Pi(\mu,\nu)} \langle \mathcal{K}(\mathbf{X}_{1},\mathbf{X}_{2}), \pi \rangle, (2)

其中 \pi \in \Pi(\mu,\nu) = \{ \pi \in \mathbb{R}^{n \times m} \mid \pi \mathbf{1}_{m} = \mu, \pi^{\top} \mathbf{1}_{n} = \nu \} 表示所有具有边际分布 \\mu 和 \\nu 的联合分布 \\pi 。 \mathcal{K}(\mathbf{X}_{1},\mathbf{X}_{2})_{ij} = c_{\mathcal{X}}(\mathbf{X}_{1}^{i},\mathbf{X}_{2}^{j}) 是将 \mathbf{X}_{1}^{i} 移动到 \mathbf{X}_{2}^{j} 的成本。成本可以通过余弦距离计算。 \mathbf{1} 表示元素全为1的向量， [\![n]\!] = \{1,2,\dots,n\} ，而 \langle \cdot,\cdot \rangle 是内积算子。 \pi \in \mathbb{R}^{n \times m} 称为传输计划。距离 \mathcal{D}(\cdot,\cdot) 也称为 Wasserstein 距离。在本工作中，我们关注图上的离散分布情况。

（请参见图1：SAOT概览。它利用最优传输机制在CGL中学习并保持关系结构。当新任务到来时，...）