基于全局上下文的多任务图预训练任务特定提示

# 基于全局上下文的多任务图预训练任务特定提示  
来源：https://arxiv.org/html/2609.00047  
\[orcid=0009\-0005\-1149\-6472\] \[orcid=0000\-0003\-4605\-9270\] \[orcid=0000\-0002\-5971\-2331\] \[orcid=0000\-0002\-9274\-2807\] \[orcid=0000\-0001\-9272\-4804\] \[orcid=0000\-0003\-0752\-941X\]  
杨涛，taowang@gzhu\.edu\.cn  
李晓翠，Xiaocuiworld@163\.com  
谢彦昭，yzhx@gzhu\.edu\.cn  
陈思远，chensiyuan@gzhu\.edu\.cn  
张文生，zhangwenshengia@hotmail\.com  
组织=广州大学计算机科学与网络工程学院，城市=广州，邮编=510006，省=广东，国家=中国  
组织=湖南工商大学，城市=长沙，邮编=410205，省=湖南，国家=中国  

###### 摘要  
图提示学习是将预训练图模型适应到低资源场景下下游任务的有效范式。然而，现有的多任务图预训练框架通常使用随机初始化的提示，导致提示空间、前置任务目标与图结构特征之间的对齐性较差。这大大削弱了提示表示的任务相关性、结构感知能力和可迁移性。为了解决这一挑战，我们提出了TPGC，一种双先验提示初始化方案，明确建模任务先验与结构先验之间的协同作用。具体而言，任务先验注入模块首先在辅助图上进行简短的同源多任务预训练，使提示初始化能够继承与多个前置任务相关的优化偏好。在任务感知表示的基础上，结构先验注入模块进一步从辅助图中提取可迁移的全局结构上下文，通过聚合结构信息丰富的节点嵌入将其转换为分层的提示向量。在覆盖节点和图分类的6个主流基准数据集上的大量实验表明，在少样本设置下，TPGC以更少的下游可调参数和更低的运行时间，持续优于最先进的基线模型。代码已在https://github.com/Virgilqiu/TPGC发布。  

###### 关键词  
任务特定提示，全局上下文，图预训练，多任务  

††corresponding:通讯作者  

## 1 引言  
图神经网络（GNNs）通过联合建模节点属性和关系依赖关系，已成为图结构数据学习的基本范式\[17 (https://arxiv.org/html/2609.00047#bib.bib1),33 (https://arxiv.org/html/2609.00047#bib.bib3)\]。通过将神经表示学习扩展到不规则图领域，GNNs在推荐系统、分子性质预测、生物网络分析和知识图谱推理等方面取得了显著成就\[8 (https://arxiv.org/html/2609.00047#bib.bib4),37 (https://arxiv.org/html/2609.00047#bib.bib2)\]。然而，大多数现有的基于GNN的解决方案严重依赖于大量特定任务的标注数据，这在低资源图领域变得不切实际，并遇到严重的性能瓶颈。为了解决这个问题，图预训练成为一个重要的研究方向，旨在从大规模无标签图中学习可迁移的图知识\[12 (https://arxiv.org/html/2609.00047#bib.bib5),11 (https://arxiv.org/html/2609.00047#bib.bib6),13 (https://arxiv.org/html/2609.00047#bib.bib7)\]。近期的对比学习和互信息预训练方法通过设计有效的自监督目标，进一步改善了少样本场景下的下游适应性\[44 (https://arxiv.org/html/2609.00047#bib.bib8),34 (https://arxiv.org/html/2609.00047#bib.bib9),24 (https://arxiv.org/html/2609.00047#bib.bib10)\]。现有的图预训练方法，如DGI\[34 (https://arxiv.org/html/2609.00047#bib.bib9)\]和GraphCL\[44 (https://arxiv.org/html/2609.00047#bib.bib8)\]，通常遵循通用的“预训练-然后-迁移”范式，其中图编码器首先在辅助图或无标签图上进行优化，然后适应到节点分类、图分类和链接预测等下游任务。基于这一研究方向，图提示学习最近作为一种有前景的轻量级范式出现，它通过在输入或隐藏表示空间中引入可学习的提示来桥接图预训练和下游适应。代表性研究（如GPPT\[27 (https://arxiv.org/html/2609.00047#bib.bib11)\]、GraphPrompt\[21 (https://arxiv.org/html/2609.00047#bib.bib12)\]、GPF\[6 (https://arxiv.org/html/2609.00047#bib.bib14)\]、MultiGPrompt\[47 (https://arxiv.org/html/2609.00047#bib.bib15)\]、ProNoG\[46 (https://arxiv.org/html/2609.00047#bib.bib39)\]和MKGPL\[40 (https://arxiv.org/html/2609.00047#bib.bib45)\]）持续证明了基于提示的适应方法在各种图任务上的有效性。  

尽管取得了这些进展，图预训练阶段使用的提示信息通常是随机初始化的，与下游任务无关。相比之下，提示初始化的重要性已在众多领域引起广泛关注。例如，Lester等人\[18 (https://arxiv.org/html/2609.00047#bib.bib16)\]指出，提示调优对初始化敏感：语义上有意义的初始化通常比纯随机初始化更有效。Wu等人\[36 (https://arxiv.org/html/2609.00047#bib.bib17)\]进一步揭示，软提示调优对提示初始化高度敏感，并从信息论的角度寻求更具任务信息性的提示初始化。IAPT\[50 (https://arxiv.org/html/2609.00047#bib.bib18)\]为每个输入指令生成实例感知的软提示，表明提示表示应以任务或输入语义为条件，而非作为固定的随机标记处理。MVLPT\[26 (https://arxiv.org/html/2609.00047#bib.bib19)\]从多个源视觉任务中学习可迁移的提示来初始化目标任务提示，证明跨任务提示知识可以改善少样本视觉-语言适应。这些发现表明，提示初始化并非无关紧要的实现细节，而是影响优化稳定性和任务适应性的关键因素。然而，这一见解尚未被系统地引入带有提示学习的图预训练中。  

图 1：表示空间中提示初始化质量的可视化。（a）：左图说明随机初始化将提示向量置于任意的低密度区域，远离信息丰富的节点聚类。（b）：右图显示TPGC初始化将提示向量与节点嵌入空间的高密度和语义有意义区域对齐，为后续预训练提供了更具信息性和结构对齐的起点。  

基于上述分析和观察，现有的图提示学习范式仍有两个关键挑战未得到充分解决。  
（1）如何赋予提示初始化任务相关信息。当前方法通常随机初始化预训练提示，没有在初始化阶段提供明确的机制来编码与前置训练目标相关的信息。因此，初始化的提示通常与目标任务无关，无法在目标领域预训练之前作为有效的任务感知起点。  
（2）如何赋予提示初始化图结构信息。与欧几里得数据不同，图数据的语义不仅由节点属性决定，更根本地是由拓扑分布、邻域关系和全局结构模式决定。图提示学习中现有的随机提示初始化没有利用图数据的这种内在结构信息来指导提示构建。这个问题可以从图1(a)直观地理解，其中随机初始化的提示倾向于落入表示空间的任意低密度噪声区域，远离有意义的节点聚类。因此，初始化的提示未能为不同任务提供足够区分性的结构支持，并且在优化过程中容易偏向特定任务，从而破坏多任务协作的有效性。因此，如何显式地注入任务特定先验并使提示初始化感知图结构，仍然是多任务图预训练中的一个核心挑战。  

为了解决上述挑战，我们提出了用于多任务图预训练的基于全局上下文的任务特定提示（称为TPGC），旨在构建既任务特定又全局上下文感知的提示，从而为提升图预训练提供更具信息性的提示初始化。具体而言，TPGC将提示初始化分解为两个协作组件：任务先验注入模块（TPIM）和结构先验注入模块（SPIM）。（1）TPIM旨在在目标领域预训练之前，将与前置训练目标相关的任务特定先验注入提示中，从而缓解随机初始化提示与前置训练目标之间的不匹配。值得注意的是，这个任务先验提取过程效率很高：在一个在领域语义和结构特征上与目标图高度相关的辅助图上，仅进行一轮同源预训练就足以提供有效的任务相关先验用于提示初始化。（2）此外，SPIM从辅助图的全局上下文中捕获可迁移的结构先验，并将其注入提示空间，从而使初始化的提示与图表示空间中的信息丰富区域更加对齐。这种效果在概念上由图1(b)说明，其中初始化的提示不再分散在噪声区域，而是靠近高密度和语义有意义的节点聚类。通过这种方式，TPIM主要提高了提示初始化的任务相关性和优化稳定性，而SPIM进一步增强了其结构感知和跨图迁移能力。值得注意的是，SPIM和TPIM的提示初始化阶段可以在辅助图上离线完成，因此所提方法在目标领域预训练阶段不会产生显著的额外计算。这两个模块初始化的提示随后用于后续的多任务预训练，并迁移到下游提示调优，实现无需修改骨干架构的轻量级图适应。  

本研究的主要贡献总结如下：  
- •新视角。据我们所知，本研究首次从提示初始化而非仅提示设计/调优的角度重新审视多任务图预训练。与传统的随机初始化不同，所提出的初始化范式明确构建具有全局上下文的任务特定提示，使提示初始化能够同时保留任务特定先验和可迁移的结构知识。  
- •新方法。我们提出了一种新颖的提示初始化方法，称为TPGC，它通过两个互补的组件构建提示。具体而言，TPIM通过在辅助图上仅进行一轮同源预训练来提取任务特定先验，而SPIM从辅助图的全局上下文中捕获可迁移的结构先验并将其注入提示空间。通过这种方式，TPGC为多任务图预训练生成了既任务特定又全局上下文感知的提示。  
- •高性能。我们在多个主流节点级和图级基准数据集上进行了大量实验。实验结果表明，我们的TPGC在各种少样本设置下始终优于强大的图提示学习基线。此外，TPGC在所有少样本设置下表现出强大的鲁棒性，同时引入了更低的下游可调参数数量和运行时间。  

## 2 相关工作  
### 2.1 图预训练  
图预训练\[45 (https://arxiv.org/html/2609.00047#bib.bib44),9 (https://arxiv.org/html/2609.00047#bib.bib43),42 (https://arxiv.org/html/2609.00047#bib.bib42),14 (https://arxiv.org/html/2609.00047#bib.bib41)\]旨在从无标签图数据中提炼可迁移的知识，从而减少图学习对昂贵的特定任务标注的依赖。遵循自监督学习的成功，越来越多的研究表明，通过优化精心设计的前置任务（无需人工标注），可以有效提升图编码器\[12 (https://arxiv.org/html/2609.00047#bib.bib5),13 (https://arxiv.org/html/2609.00047#bib.bib7)\]。这些前置任务通常被构建为从不同视角捕获内在图信号，包括结构依赖、属性语义、局部-全局一致性和拓扑感知上下文\[12 (https://arxiv.org/html/2609.00047#bib.bib5),11 (https://arxiv.org/html/2609.00047#bib.bib6),38 (https://arxiv.org/html/2609.00047#bib.bib22)\]。沿着这条路线，一些研究通过基于引导或对比风格的目标来增强不变性和表示鲁棒性，从而改进图表示学习，而另一些研究则采用基于生成或重构的目标来恢复信息丰富的图模式并保留语义内容\[11 (https://arxiv.org/html/2609.00047#bib.bib6),13 (https://arxiv.org/html/2609.00047#bib.bib7),31 (https://arxiv.org/html/2609.00047#bib.bib21),10 (https://arxiv.org/html/2609.00047#bib.bib20)\]。然而，从单一视角定义的前置任务通常只能为复杂的图数据提供部分监督，这促使近期的研究努力将多个前置任务纳入统一的预训练框架\[12 (https://arxiv.org/html/2609.00047#bib.bib5),38 (https://arxiv.org/html/2609.00047#bib.bib22)\]。当多个任务被联合优化时，模型仍可能受到任务干扰，因为不同的目标可能强调不同的图属性并导致不一致的优化方向。此外，近期的研究进一步将图预训练扩展到更广泛的迁移设置，其中期望迁移的知识能够泛化到异构图领域，而非单一分布\[20 (https://arxiv.org/html/2609.00047#bib.bib23)\]。然而，一个核心挑战仍然是如何在改进迁移知识与下游目标对齐的同时，有效协调不同的前置任务。与主要优化前置目标或编码器架构的现有研究不同，我们的方法通过引入具有全局上下文指导的任务特定提示来增强多任务图预训练，从而实现可迁移的任务语义和结构信息的更有效融合。  

### 2.2 图提示学习  
提示学习\[35 (https://arxiv.org/html/2609.00047#bib.bib50),41 (https://arxiv.org/html/2609.00047#bib.bib49),4 (https://arxiv.org/html/2609.00047#bib.bib48)\]最初在视觉和语言研究中流行，作为一种参数高效的范式，用于将预训练模型适应到下游任务。提示方法不更新所有模型参数，而是引入可学习的上下文向量来引导模型行为，在保留通用知识的同时改进任务适应性\[49 (https://arxiv.org/html/2609.00047#bib.bib24),48 (https://arxiv.org/html/2609.00047#bib.bib48)\]。