基于标签影响传播的多标签节点分类

# 多标签节点分类中的标签影响传播 来源：https://arxiv.org/html/2607.00671 孙艺菲¹, 刘泽民¹, Bryan Hooi², 杨洋¹, Rizal Fathony³, 陈佳⁴, 何丙胜² ¹浙江大学, ²新加坡国立大学, ³第一资本, ⁴GrabTaxi控股私人有限公司。 邮箱：{yifeisun, liu.zemin, yangya}@zju.edu.cn, {bhoi, hebs}@comp.nus.edu.sg, [email protected], [email protected] ###### 摘要 图是一种复杂且通用的数据结构，广泛应用于各个领域，其中可能具有多标签的节点扮演着尤为关键的角色。例如，PPI网络中的蛋白质具有多种功能，社交或电子商务网络中的用户展现出多样化的兴趣。解决图上的多标签节点分类（MLNC）问题促使了各种方法的发展。一些方法利用图神经网络（GNN）来挖掘标签共现相关性，而另一些则引入标签嵌入来捕捉标签邻近性。然而，这些方法未能考虑非欧几里得图数据中标签之间复杂的影响关系。为了解决这个问题，我们将GNN中的消息传递过程分解为两个操作：*传播*和*变换*。然后，我们对每个操作中标签之间的影响相关性进行了全面分析和量化。基于这些见解，我们提出了一种新颖的模型——标签影响传播（LIP）。具体来说，我们根据整合的标签相关性构建了一个标签影响图。然后，我们通过该图传播高阶影响，通过放大具有正向贡献的标签和缓解具有负向影响的标签来动态调整学习过程。最后，我们在全面的基准数据集上评估了我们的框架，在各种设置下始终优于最先进的方法，证明了其在MLNC任务上的有效性¹¹我们的代码可在https://github.com/Xtra-Computing/LIP_MLNC获取。。 

## 1 引言

作为一种复杂的数据结构，图在各个领域都很常见（Jiang et al., 2019 (https://arxiv.org/html/2607.00671#bib.bib15); Kipf and Welling, 2016 (https://arxiv.org/html/2607.00671#bib.bib2); Ying et al., 2018 (https://arxiv.org/html/2607.00671#bib.bib14); Liu et al., 2023 (https://arxiv.org/html/2607.00671#bib.bib101); Fang et al., 2024 (https://arxiv.org/html/2607.00671#bib.bib63)）。其中，具有多标签节点的图很常见且非常重要。例如，ogbn-protein数据集中的蛋白质具有多种功能（Hu et al., 2020 (https://arxiv.org/html/2607.00671#bib.bib16)）。准确识别所有功能有助于理解生物过程并推进生物医学研究。因此，我们关注这个现实但具有挑战性的问题，即图上的多标签节点分类，在后续论文中我们将其缩写为MLNC。

**先前研究。**当前方法通常采用三种策略来解决这个问题。*第一种策略*是忽略多标签信息，在不挖掘标签相关性的情况下预测标签（Shi et al., 2020b (https://arxiv.org/html/2607.00671#bib.bib33); Li et al., 2023 (https://arxiv.org/html/2607.00671#bib.bib32)）。*第二种策略*是将标签显式视为一种新类型的节点，并将其融入原始图，从而通过节点和标签节点之间的传播和聚合信息来提升任务性能（Gao et al., 2019 (https://arxiv.org/html/2607.00671#bib.bib50); Shi et al., 2020a (https://arxiv.org/html/2607.00671#bib.bib47)）。由于训练集中只有节点和标签节点之间的不完全连接可用，*第三种策略*是将标签表示整合到邻居聚合和分类过程中，从而提高多标签信息的利用率（Zhou et al., 2021 (https://arxiv.org/html/2607.00671#bib.bib44); Xiao et al., 2022 (https://arxiv.org/html/2607.00671#bib.bib45)）。然而，这些策略低估了图数据中复杂的标签相关性，仅评估标签邻近性而对其影响进行建模，从而未能充分利用这些相关性来改进MLNC。

**观察结果。**我们的观察（图3 (https://arxiv.org/html/2607.00671#footnote3)）进一步表明，对于图数据，不同的标签可能相互增强或损害彼此的性能。具体来说，我们比较了同时使用行标签和列标签训练图神经网络（GNN）与仅单独使用列标签训练时的性能差异。正向差异表明联合训练行标签和列标签优于仅训练列标签，意味着行标签可以增强列标签。相反，负向差异则表明存在负面影响。如图3 (https://arxiv.org/html/2607.00671#footnote3)所示，大多数图数据集在标签之间都表现出正向和负向影响。因此，在本文中，我们旨在分析和量化图上这些复杂的标签影响，以增强或缓解正向或负向效应。

图1：观察显示不同标签之间的正向（红色）和负向（蓝色）影响。每个热图³³这些热图是不对称的，因为每个值代表行标签帮助（++）或损害（--）列标签的程度。不失一般性，由于空间限制，我们选择了前10个标签作为观察目标（DBLP除外）。中的值表示当与行标签一起训练时，在列标签上的性能减去单独训练列标签的结果。

**挑战。**然而，鉴于图的复杂性，出现了几个挑战。首先，影响不仅存在于标签本身之间，而且通过图结构缠绕在一起的节点之间也存在影响。因此，*如何在复杂的非欧几里得图数据上量化标签之间的影响*是第一个挑战。其次，由于任何标签都可能同时对多个其他标签施加正向和负向影响，第二个挑战是*如何捕捉所有标签之间的高阶影响相关性*。最后，我们的目标是鼓励或抑制带来正向或负向影响的标签。因此，*如何利用量化后的高阶影响相关性来提升MLNC任务的性能*是第三个挑战。

**本文工作。**为了解决*第一个*挑战，我们将消息传递分解为传播和变换操作（Zhang et al., 2022a (https://arxiv.org/html/2607.00671#bib.bib85)），从而可以详细分析图数据上的标签影响相关性。此外，基于图模型固有的归纳偏置（Xu et al., 2018a (https://arxiv.org/html/2607.00671#bib.bib22); Wang and Leskovec, 2020 (https://arxiv.org/html/2607.00671#bib.bib19)），我们进行了理论分析，揭示图结构本身是传播操作期间标签影响的关键驱动因素。对于变换操作，我们的分析表明，训练期间标签之间的动态相互作用是由模型参数的每次反向传播引起的。上述两部分标签影响分析不仅为图上的多标签相关性提供了深刻见解，也为改进图上的MLNC奠定了坚实基础。为了解决*第二个*挑战，我们基于成对相关性构建了一个高阶标签影响传播图。因此，我们可以量化图数据上一个标签到任何其他标签的传播影响。对于*第三个*挑战，我们提出了一种新颖的方法——标签信息传播（LIP），它包含上述量化步骤，并精心设计了多个标签之间的训练动态以提升整体性能。通过计算每个标签在此传播图中的重要性，我们在整个训练过程中动态调整其学习比例。这确保了对其他标签具有更多正向影响的标签被更有效地学习，同时最小化标签之间的负向交互，最终提升MLNC的性能。作为一种即插即用的方法，我们的方法可以应用于各种GNN骨干网络。我们使用MLNC数据集最全面的集合（Zhao et al., 2023 (https://arxiv.org/html/2607.00671#bib.bib6)）上的多种设置验证了其有效性。

**贡献。**总之，我们的贡献有三方面。 - • 我们提供了一种新颖的标签相关性分析视角，将流程分解为前向传播和反向传播部分，对标签之间的影响相关性进行了深入分析和量化。 - • 基于量化的成对标签影响，我们设计了LIP，它计算高阶标签相关性和标签之间的影响传播，以动态指导模型的学习过程。 - • 实证上，我们在不同领域的MLNC图数据上验证了我们方法的优越性，在节点分割和标签分割设置下分别平均提升了3.06%和3.42%的AUC。

## 2 相关工作

**多标签节点分类（MLNC）。**为了促进MLNC的研究，MLGNC（Zhao et al., 2023 (https://arxiv.org/html/2607.00671#bib.bib6)）提供了三个生物数据集，并对数据集和现有方法进行了详细分析。从方法论的角度看，一些方法考虑使用标签的文本嵌入来整合标签邻近性。LARN（Xiao et al., 2022 (https://arxiv.org/html/2607.00671#bib.bib45)）在邻居聚合过程中整合了所有标签嵌入。类似地，LANC（Zhou et al., 2021 (https://arxiv.org/html/2607.00671#bib.bib44)）提出了注意力机制，将标签嵌入与每个节点聚合。另一条工作路线构建额外的标签-标签网络来利用标签共现相关性。ML-GCN（Gao et al., 2019 (https://arxiv.org/html/2607.00671#bib.bib50)）构建了以节点为中心和以标签为中心的图来聚合信息，而MLNE（Shi et al., 2020a (https://arxiv.org/html/2607.00671#bib.bib47)）使用随机游走获取标签-标签网络和原始图上的嵌入。还有一些方法修改了从多标签角度建模图的方式。MLGW（Akujuobi et al., 2019 (https://arxiv.org/html/2607.00671#bib.bib49)）利用特定于标签的智能体在图上游走。VariMul（Song et al., 2021 (https://arxiv.org/html/2607.00671#bib.bib46)）利用VGAE推导节点和标签嵌入，并设计了一个置信度排序损失来挖掘成对标签相关性。最近的工作通过解决多标签图结构中的歧义性（Bei et al., 2024 (https://arxiv.org/html/2607.00671#bib.bib60)）和多标签任务表达能力有限的问题（Zhao and Khosla, 2024 (https://arxiv.org/html/2607.00671#bib.bib59)）来改进MLNC。然而，这些工作没有明确分析和量化标签之间的影响，并利用它们来增强MLNC任务。

**解耦GNN。**与传统GNN相比，解耦GNN明确地将两个操作分离，并将所有传播（P）和变换（T）操作分别聚合以进行处理。APPNP（Gasteiger et al., 2019 (https://arxiv.org/html/2607.00671#bib.bib23)）和DAGNN（Liu et al., 2020 (https://arxiv.org/html/2607.00671#bib.bib24)）首先提出将这两个操作解耦可以使GNN在避免过度平滑的同时变得更深。尽管SGC（Wu et al., 2019 (https://arxiv.org/html/2607.00671#bib.bib36)）和lightGCN（He et al., 2020 (https://arxiv.org/html/2607.00671#bib.bib35)）没有讨论解耦范式，但它们展示了卓越的效率和性能。PTA（Dong et al., 2021 (https://arxiv.org/html/2607.00671#bib.bib26)）进一步从标签传播的角度探索了该范式。由于APPNP更适用于同配图，GPRGNN（Chien et al., 2020 (https://arxiv.org/html/2607.00671#bib.bib25)）通过自适应学习GPR权重对其进行了改进。该方法不仅避免了过度平滑，还能通过自适应滤波处理异配图。NCGNN（Chen et al., 2024a (https://arxiv.org/html/2607.00671#bib.bib27)）通过预传播节点特征提高了模型容量和训练效率，然后采用基于CNN的方法聚合传播后的特征，自适应地捕捉上下文信息以提升性能。我们的工作受到上述解耦或分离（Zhang et al., 2022a (https://arxiv.org/html/2607.00671#bib.bib85)）消息传递过程的研究启发。我们更侧重于分析P和T操作期间标签之间的影响相关性，而不是设计特定的P和T操作来增加模型性能（Gasteiger et al., 2019 (https://arxiv.org/html/2607.00671#bib.bib23); Chien et al., 2020 (https://arxiv.org/html/2607.00671#bib.bib25); Sun et al., 2022 (https://arxiv.org/html/2607.00671#bib.bib61)）或增强模型容量和可扩展性（Chen et al., 2024a (https://arxiv.org/html/2607.00671#bib.bib27)）。

## 3 预备知识

### 3.1 问题形式化

给定一个图 \(G=(V,E)\)，其邻接矩阵为 \(\mathbf{A} \in \mathbb{R}^{n \times n}\)，其中 \(n = |V|\) 和 \(e = |E|\) 分别是节点和边的总数。每个节点 \(v_i \in V\) 都有一个特征向量 \(\mathbf{x}_i \in \mathbb{R}^f\)，所有这些特征向量构成了图 \(G\) 的特征矩阵 \(\mathbf{X} \in \mathbb{R}^{n \times f} = [\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n]^T\)。在所有节点中，\(n\) 个节点中有 \(n_l\) 个被标注，其余 \(n_u\) 个节点未被标注。对于标注数据集 \(D_l = \{ (v_i, y_i^{\text{seq}}) \mid 1 \leq i \leq n_l \}\) 中的每个节点 \(v_i\)，它还包含一个从给定标签空间 \(\mathbf{Y} = \{ y_1, y_2, \ldots, y_k \}\) 中抽取的标签集合 \(y_i^{\text{seq}} \subseteq \mathbf{Y}\)，最多有 \(k\) 个可能的类别标签。此外，其余未标注节点 \(D_u = \{ v_i \mid n_l + 1 \leq i \leq n_l + n_u \}\) 的标签集不可用。在半监督学习设置下，图上MLNC的目标是，通过同时考虑图结构 \(\mathbf{A}\) 和节点特征 \(\mathbf{X}\)，利用训练数据 \(D = D_l \cup D_u\) 学习一个模型 \(h: V \to 2^{\mathbf{Y}}\)。此外，我们将具有标签 \(y_j \in \mathbf{Y}\)（\(1 \leq j \leq k\)）的节点记作节点集 \(Y_j = \{ v_1, v_2, \ldots, v_{m_j} \}\)，其中 \(m_j\) 是归属于标签 \(y_j\) 的节点数量。

### 3.2 MLNC流程的分解

由于MLNC被视为图上相关的多个二分类问题，每个问题判断某个标签是否存在（Zhang and Zhou, 2013 (https://arxiv.org/html/2607.00671#bib.bib1)）。如果将多标签任务建模为不相关的单标签任务，不仅浪费了其他标签带来的信息，也浪费了模型参数。因此，几乎所有多标签方法都采用一种通用风格，即使用图编码器 \(\Phi_\theta\) 作为骨干网络，以同时探索多个标签的个体信息及其相关性信息。图编码器 \(\Phi_\theta\) 接收图结构...