跨多层级抽象的图表示学习统一视角

# 跨多层次抽象学习图表示的统一视角 来源：https://arxiv.org/html/2605.12685 Mohamed Mahmoud Amar, Nairouz Mrabah, Mohamed Bouguessa, Abdoulaye Baniré DialloM\. M\. Amar, N\. Mrabah, M\. Bouguessa, A\. B\. Diallo 隶属于加拿大魁北克大学蒙特利尔分校计算机科学系，蒙特利尔，QC，加拿大。邮箱：amar\.mohamed\_mahmoud@courrier\.uqam\.ca, mrabah\.nairouz@gmail\.com, bouguessa\.mohamed@uqam\.ca, diallo\.abdoulaye@uqam\.ca ###### 摘要 图自监督学习（GSSL）已成为为图结构数据生成高质量表示的有效范式。尽管多尺度图对比学习日益受到关注，但现有方法大多仍主要聚焦于单一图抽象层次。为解决这一局限，我们提出一个统一的对比框架，该框架能够针对节点级、邻近级、簇级和图级信息，并通过正对相似度分数与负对非相似度分数（即负对上的相似度分数）的线性组合进行整合。此外，现有方法通常对所有样本分配均匀的惩罚强度，这降低了优化灵活性并导致收敛状态模糊。为克服此问题，我们引入一种新颖的无参数细粒度自加权机制，该机制自适应地给各个相似度和非相似度分数分配权重，强调那些显著偏离目标值的分数。我们的方法不仅增强了优化灵活性，还消除了传统多任务GSSL方法中超参数调优的计算开销。在真实世界数据集上的全面实验表明，我们的方法在单层次和跨层次场景中，在下游任务（包括分类、聚类和链接预测）上均持续优于最先进的方法。 ###### 索引术语：图自监督学习；对比学习；多任务学习。 ## 1 引言 自监督学习（SSL）[45 (https://arxiv.org/html/2605.12685#bib.bib77)]已成为学习数据表示的一种高效方法，尤其在缺乏监督信号的情况下。与需要大量标注数据集的监督学习或依赖反复试验和反馈的强化学习不同，SSL利用数据本身固有的信号。通过设计预文本任务（如挑战模型预测或重建输入数据的一部分），SSL使得学习数据的内在属性和关系成为可能。因此，通过SSL学习得到的表示通常更鲁棒且更通用。当针对下游任务进行微调时，这些表示在各种应用中表现出强劲的结果[3 (https://arxiv.org/html/2605.12685#bib.bib4),36 (https://arxiv.org/html/2605.12685#bib.bib76),35 (https://arxiv.org/html/2605.12685#bib.bib75)]。近年来，对比学习范式已广泛应用于图自监督学习（GSSL）[30 (https://arxiv.org/html/2605.12685#bib.bib7)]。该范式旨在表示空间中将相似实体拉近，将不相似实体推远。通过节点特征掩码、边扰动和子图采样等变换生成图的增强视图。这些增强创建了多样但语义一致的视图。因此，模型可以通过最大化正对之间的相似度并同时区分负对来学习不变表示。通过强调图的内在关系，对比GSSL方法学习通用的表示，这些表示可以在节点分类、链接预测和聚类等任务中有效使用，无需大量重新训练。 GSSL方法在不同的抽象层次上操作，以捕获图的结构和语义的不同方面。**节点级**方法[62 (https://arxiv.org/html/2605.12685#bib.bib24),50 (https://arxiv.org/html/2605.12685#bib.bib25)]关注局部结构和特征信息，使其特别适用于节点分类和链接预测等任务。然而，它们可能难以捕获全局属性，容易过拟合局部结构，并且对噪声敏感。**邻近级**方法[13 (https://arxiv.org/html/2605.12685#bib.bib26),23 (https://arxiv.org/html/2605.12685#bib.bib27)]强调局部邻域内的结构关系，在链接预测和社区检测等任务中表现出色。然而，它们通常无法捕获长距离依赖和全局结构。**簇级**方法[38 (https://arxiv.org/html/2605.12685#bib.bib73),37 (https://arxiv.org/html/2605.12685#bib.bib74)]识别并利用社区结构来捕获节点组之间的关系。其性能取决于实现适当的簇粒度平衡，因为过于粗糙或过于精细的簇可能导致过拟合或细节丢失。此外，聚类过程容易受到噪声聚类分配的影响，这可能会影响学习表示的质量。**图级**方法[51 (https://arxiv.org/html/2605.12685#bib.bib30),14 (https://arxiv.org/html/2605.12685#bib.bib31)]关注图的全局结构，使其成为图分类任务的理想选择。然而，这些方法可能忽略重要的局部细节。 以前的多任务GSSL方法同时组合多个预文本任务以提高任务泛化能力。AutoSSL[20 (https://arxiv.org/html/2605.12685#bib.bib10)]采用伪同质性机制来评估跨预文本任务的表示质量。然后，使用进化算法或元梯度下降来识别GSSL任务的最佳线性组合。ParetoGNN[21 (https://arxiv.org/html/2605.12685#bib.bib13)]利用多样化的预文本任务，包括生成式重建、白化解相关和互信息最大化。该模型引入了一种多梯度下降机制，促进预文本任务之间的帕累托最优性并缓解潜在冲突。然而，这两种方法都依赖内部优化过程来搜索与自监督损失相关的超参数，导致显著的计算开销。此外，两种方法都基于启发式方法选择候选预文本任务集，仅关注识别这些任务的最优组合。多任务GSSL中尚未探索跨多个图抽象层次（节点级、邻近级、簇级和图级）的协同作用。我们称这种范式为多层次GSSL。 参见标题 参见标题 参见标题 参见标题 (a) Cora。 参见标题 (b) CiteSeer。 参见标题 (c) Pubmed。 图1：第一行：我们的单层次GSSL模型（SL-GSSL）在Cora、CiteSeer和Pubmed数据集上不同抽象层次下三个下游任务（节点分类、节点聚类和链接预测）的平均性能。第二行：使用我们的线性多层次GSSL模型（L-ML-GSSL）训练时，两个抽象层次GSSL损失梯度之间的平均余弦相似度。 我们引入一个统一的框架，该框架通过相似度和非相似度分数的线性组合，能够在不同抽象层次无缝操作。所提框架在每一层次上均比相应的最先进方法取得了具有竞争力的结果。利用该统一框架，我们分析了图抽象层次与其下游任务相关性之间的关联。如图1 (https://arxiv.org/html/2605.12685#S1.F1)所示，GSSL抽象层次在不同数据集上表现不一致，并且它们之间存在潜在冲突。为此，我们将相似度和非相似度分数的线性组合扩展到所有抽象层次。作为一个优势，多层次学习能够捕获局部和全局信息。从另一个角度看，以前的单任务和多任务GSSL方法隐式地对所有样本应用均匀的惩罚强度，这限制了其优化灵活性并可能导致模糊的收敛状态[48 (https://arxiv.org/html/2605.12685#bib.bib45)]。我们通过引入一种动态加权机制来解决这个问题，该机制自适应地对跨样本和抽象层次的各个相似度和非相似度分数分配权重，优先考虑那些显著偏离最优值的分数。我们将加权系数实现为关于其相似度/非相似度分数的线性函数。这导致了一个关于相似度/非相似度分数的超球面决策边界。该机制增强了优化灵活性，确保了明确的收敛状态，同时消除了传统多任务GSSL中为超参数调优而进行内部优化的计算成本。 **贡献**。本工作引入了一个有原则的多层次图自监督学习（GSSL）框架。它统一了四个抽象层次的学习目标，并提出了一种基于分数级自加权的多任务公式，并提供了理论和实证支持。贡献总结如下： - • **多层次GSSL范式及明确的跨层次互补性与冲突**。我们将GSSL形式化为从四个抽象层次（节点、邻近、簇和图）进行学习。我们实证表明，没有一个单一层次在数据集和下游任务中始终最优。图1 (https://arxiv.org/html/2605.12685#S1.F1)（第一行）总结了这些任务相关的行为。图1 (https://arxiv.org/html/2605.12685#S1.F1)（第二行）进一步显示，在联合训练下，层次间目标可能具有较弱的梯度对齐，这激发了有原则的多层次整合。 - • **跨四个抽象层次的统一单层次对比目标（SL-GSSL）**。我们开发了一个单一的对比公式，该公式在每个层次上通过仅改变层次特定的正/负样本生成器（公式 (1 (https://arxiv.org/html/2605.12685#S3.E1))–(4 (https://arxiv.org/html/2605.12685#S3.E4))）进行实例化。训练流程总结在算法1 (https://arxiv.org/html/2605.12685#alg1)中。我们采用跨数据集和下游任务共享的固定增强和训练配置（表II (https://arxiv.org/html/2605.12685#S5.T2)），仅调整一小部分数据相关的超参数（表III (https://arxiv.org/html/2605.12685#S5.T3)）。在这种统一设置下，SL-GSSL在层次内性能上比最先进的单任务基线具有竞争力或更优（表IV (https://arxiv.org/html/2605.12685#S5.T4)）。消融实验验证了统一损失的设计，并表明移除边距、替换为铰链损失以及替换为InfoNCE[2 (https://arxiv.org/html/2605.12685#bib.bib72)]会降低性能（表V (https://arxiv.org/html/2605.12685#S5.T5)）。 - • **分数级多层次整合与统一的多任务公式（L-ML-GSSL/LW-ML-GSSL）**。我们将统一公式扩展到多层次学习，通过将各层次的正负相似度分数整合到单一目标内部（公式 (8 (https://arxiv.org/html/2605.12685#S4.E8))和(10 (https://arxiv.org/html/2605.12685#S4.E10))）。这产生了一个多任务GSSL设置，其中抽象层次作为互补任务共享一个编码器（图2 (https://arxiv.org/html/2605.12685#S3.F2)）。表IX (https://arxiv.org/html/2605.12685#S5.T9)显示不同层次贡献了不同的信息，且多层次变体改进了单层次变体。同时，表VII (https://arxiv.org/html/2605.12685#S5.T7)显示，简单的线性整合不足以始终超越最佳单层次配置，这激发了自适应平衡。 - • **具有超球面收敛几何的动态分数级自加权（LSW-ML-GSSL）**。我们提出了一种线性自加权机制，该机制为跨层次的各个正负相似度分数分配权重（公式 (11 (https://arxiv.org/html/2605.12685#S4.E11))和(12 (https://arxiv.org/html/2605.12685#S4.E12))），从而得到自加权的多层次目标（公式 (14 (https://arxiv.org/html/2605.12685#S4.E14))）。由此产生的决策边界在相似度分数空间中变为超球面（公式 (15 (https://arxiv.org/html/2605.12685#S4.E15))和(16 (https://arxiv.org/html/2605.12685#S4.E16))）。梯度可视化显示了与均匀加权相比，优化灵活性提高且收敛歧义减少（图3 (https://arxiv.org/html/2605.12685#S3.F3),4 (https://arxiv.org/html/2605.12685#S4.F4),和5 (https://arxiv.org/html/2605.12685#S4.F5)）。我们在相似度分数空间中提供了专门的收敛分析（定理1 (https://arxiv.org/html/2605.12685#Thmtheorem1)和命题2 (https://arxiv.org/html/2605.12685#Thmproposition2)）。该方法避免了辅助专家网络和内部循环优化，并保持计算效率（图6 (https://arxiv.org/html/2605.12685#S5.F6)）。 - • **广泛的实证验证、消融实验和鲁棒性研究**。我们在六个真实世界数据集和三个下游任务上进行了评估。所提出的LSW-ML-GSSL在整体性能上优于最先进的多任务和多尺度基线（表VI (https://arxiv.org/html/2605.12685#S5.T6)）。它持续改进了线性多层次变体以及最强的单层次配置（表VII (https://arxiv.org/html/2605.12685#S5.T7)）。它也优于代表性的多损失加权策略（表VIII (https://arxiv.org/html/2605.12685#S5.T8)）。敏感性分析表明在广泛的超参数范围内性能稳定（图7 (https://arxiv.org/html/2605.12685#S5.F7)和8 (https://arxiv.org/html/2605.12685#S5.F8)）。 ## 2 相关工作 **单任务方法**。传统的GSSL方法通过从不同的图抽象层次（包括单个节点、局部邻近、簇和整体图结构）提取信息来构建自监督信号。在**节点级**，诸如GRACE[62 (https://arxiv.org/html/2605.12685#bib.bib24)]和GraphCL[57 (https://arxiv.org/html/2605.12685#bib.bib8)]等方法通过最大化增强图视图之间的一致性来学习节点表示。这种一致性通过InfoNCE损失[41 (https://arxiv.org/html/2605.12685#bib.bib46)]实现，该损失作为互信息（MI）的下界估计器。在此基础上，GCA[63 (https://arxiv.org/html/2605.12685#bib.bib5)]通过引入自适应增强策略增强了GRACE，该策略根据边和节点特征的重要性选择性地修改它们，而不是应用随机扰动。**邻近级**GSSL方法与节点级方法不同，它消除了显式数据增强的需要。相反，这些方法利用邻域关系来编码语义不变性。诸如DeepWalk[42 (https://arxiv.org/html/2605.12685#bib.bib32)]和Node2Vec[13 (https://arxiv.org/html/2605.12685#bib.bib26)]等方法采用随机游走来捕获基于邻近的信息。另一类方法侧重于重建图以捕获邻近级信息。例如，MGAE[53 (https://arxiv.org/html/2605.12685#bib.bib33)]和MaskGAE[25 (https://arxiv.org/html/2605.12685#bib.bib34)]随机掩码 e