探究图神经网络消息传递在回归场景中的效能

# 图神经网络消息传递在回归场景中的效能探究
来源：https://arxiv.org/html/2607.26404
###### 摘要

图神经网络（GNN）能够有效地对图数据（如分子、社交网络和神经网络结构图）进行预测。GNN通过消息传递技术实现预测，该技术定义了信息如何从节点流向其邻域节点。由于图数据类型的普遍性，更新、更好的GNN的开发引起了机器学习领域的广泛关注。

然而，GNN的评估和基准测试主要依赖于分类任务。因此，候选的GNN消息传递层通常以其在分类场景中超越先前工作的能力来评估。相比之下，GNN同样能够执行标量回归预测，但这类问题在提出新GNN时往往被忽视，而最佳的分类GNN则被先验地或开箱即用地应用于回归问题。为此，本文从排名排序、误差最小化和洞察提取等多个回归场景出发，研究了GNN层的效能。结果表明，深度卷积GNN（尤其是GEN）在这些任务上比基于注意力的GNN更有效，而其他经典的、受理论启发的GNN则保持竞争力和高效性。

## 引言

图是表示不规则结构数据的流行格式，例如分子（Wang等，2024）、社交媒体（Leskovec和Krevl，2014）、引文（Caragea等，2014）和神经网络设计（Han等，2023）。机器学习（ML）的兴起以及2010年代深度神经网络（DNN）（Krizhevsky和Hinton，2009）的出现，也为图神经网络（GNN）的发展铺平了道路，GNN是专门对图数据进行ML预测的DNN（Ju等，2026）。

具体来说，GNN的主要特征在于其如何执行消息传递（MP）（Fey和Lenssen，2019）。消息传递是给定节点从其共享边的邻域节点接收信息并向其发送信息的机制。MP机制的范围各不相同：最古老的机制之一是将卷积操作泛化到图（Welling和Kipf，2017），而较新的GNN类型则实现了Transformer注意力机制（Vaswani等，2017）、同构测试（Xu等，2019），包括Weisfeiler-Lehman（WL）测试（Morris等，2019）等（Corso等，2020）。MP机制设计的多样性，加上图数据的普遍性，使得GNN不仅在黑盒预测任务中发挥着重要作用，还在可解释AI（XAI）（Ying等，2019b；Luo等，2020；Lu等，2024）和可理解AI（Pereira等，2023；Wan等，2022）研究中起到了关键作用。

然而，ML和DNN研究的进步是一场数字游戏（Li等，2021；Howard等，2019；Cai等，2020；Chen等，2024），新提出的方法主要通过取代旧方法在已知基准上的表现来贡献（Mehrotra等，2021）。虽然GNN的MP机制也不例外（Chatzianastasis等，2023），但问题在于大多数GNN基准要么是节点级任务，要么是图级分类任务，例如二元预测分子是否具有诱变性（Kazius等，2005）、能否通过血脑屏障（Wu等，2018）等，这仅涵盖了问题的一类。

相比之下，GNN完全能够执行标量预测，并且已经成功应用，特别是在神经架构搜索（NAS）的轻量级预测（White等，2023）和其他场景（Heid和Green，2021）中。与分类不同，回归有其自身的挑战，包括准确预测连续值目标和保持样本的相对排名顺序（Immer等，2023）。因此，图回归通常依赖于多样化的评估指标，例如绝对误差（Mills等，2023）、秩相关（Salameh等，2023）或相关性匹配（Zhang等，2021）。尽管这些指标在主流GNN文献中代表性不足，但相比分类指标，它们随GNN选择变化的潜力更大。此外，通常的情况是，GNN回归论文不会针对不同GNN类型进行消融，而是围绕特定GNN类型设计（Lu等，2023；Hwang等，2024），或以开箱即用的方式使用单一GNN类型（Chen等，2021）。这种设计默认行为为性能和效率的进一步提升留下了空间，因为较新的GNN类型可能能够补偿整体预测器的复杂性。

本文的目标是研究GNN消息传递层的选择在多大程度上影响GNN回归设置的整体全局性能和实例级性能。具体来说，我们对多个现有的代码库进行了系统研究，这些代码库提出了简单和复杂的回归GNN，我们仅控制GNN类型的选择并比较结果。我们的详细贡献如下：

首先，我们考虑了一系列GNN回归方法，从使用简单堆叠GNN层、接受输入图并直接生成预测的方法，到更复杂的GNN回归器，后者从图中提取信息或改变图的邻接信息。此外，这些GNN在训练损失和提供实例级可解释性/可理解性洞察的能力方面也有所不同。

其次，我们对GNN层进行了扫描，涵盖从基于卷积的旧方法到同构测试以及基于注意力的方法。这些方法不仅在MP实现的意图上有所不同，在计算成本上也有所不同，这为评估其有效性提供了另一个途径。

第三，我们考虑了各种不同的图数据集，从描述DNN高层架构的数据集到捕获单个基本操作的数据集。我们的基准在数据集中的图数量、平均节点和边统计量以及用途方面差异很大，例如从NAS（Ying等，2019a）到DNN压缩（Mills等，2025）。

实验结果表明，经典GNN设计，例如那些源于图论或深度卷积GNN的设计，在性能和硬件效率方面非常高效。此外，一些基于注意力的GNN在处理超过1000个节点和边的图方面表现出色。

## 背景与相关工作

假设一个图\(\mathcal{G}\)，其节点集为\(\mathcal{V}_{\mathcal{G}}\)，边集为\(\mathcal{E}_{\mathcal{G}}\)。节点集的特征矩阵为\(X_{\mathcal{V}} \in \mathbb{R}^{|\mathcal{V}| \times d_f}\)，其中\(|\mathcal{V}|\)是节点数量，\(d_f\)是依赖于数据集的节点特征数量；图也可能拥有边级特征。

同样，预测依赖于数据集和任务。图级任务涉及对整个图\(\mathcal{G}\)生成预测\(y_{\mathcal{G}}^{\prime}\)，而节点级预测任务（Sen等，2008）对特定节点\(v^{*} \in \mathcal{V}_{\mathcal{G}}\)生成预测\(y_{v^{*}}^{\prime}\)。本文主要关注图级任务。

### 图神经网络（GNN）

GNN促进了对图数据的ML驱动预测。首先，原始节点数据\(X_{\mathcal{V}}\)通过初始嵌入层，生成初始节点嵌入\(H_{\mathcal{V}}^{0}\)；这里每个节点/行\(h_{v}^{0} \in \mathbb{R}^{d_0}\)被独立处理。

接下来，应用一系列GNN消息传递（MP）层，根据图的连接性促进不同节点之间的信息交换。存在许多不同的MP机制，但它们都在类似的抽象下运行。形式上，对于任意第\(k\)个GNN层，给出如下：

\[
h_{v}^{k+1} = \texttt{Combine}(\texttt{Agg}(h_{v}^{k}, \{h_{u}^{k}: u \in \mathcal{N}(v)\})),
\]
(1)

其中\(\mathcal{N}(v)\)是节点\(v\)的局部邻域，由索引\(u\)枚举。重要的是，Combine和Agg（聚合）函数由GNN类型决定。例如，图同构网络（GIN）（Xu等，2019）对相邻节点的特征求和，并应用MLP \(\Theta\)，如下所示：

\[
h_{v}^{k+1} = \Theta_{k}((1+\epsilon)h_{v}^{k} + \sum_{u \in \mathcal{N}(v)} h_{u}^{k}),
\]
(2)

其中\(\epsilon\)是一个小常数。在应用足够数量的\(K\)个GNN层后，通常为2到8层（You等，2020），我们生成一个预测。对于节点级预测，我们可以直接提取目标节点\(v^{*}\)的最终节点嵌入\(h_{v^{*}}^{K}\)，并将其输入MLP以形成预测\(y_{v^{*}}^{\prime}\)。

图级预测稍微复杂一些，因为它需要将节点嵌入矩阵\(H_{\mathcal{V}}^{K}\)压缩为一个代表整个图的固定长度向量\(h_{\mathcal{G}}^{K}\)。实现这一点的一种方法是通过算术运算，例如取平均：

\[
h_{\mathcal{G}}^{K} = \frac{1}{|\mathcal{V}_{\mathcal{G}}|} \sum_{v \in \mathcal{V}_{\mathcal{G}}} h_{v}^{K}.
\]
(3)

图嵌入\(h_{\mathcal{G}}^{K}\)随后可以输入MLP以产生预测\(y_{\mathcal{G}}^{\prime}\)。\(y_{v^{*}}^{\prime}\)和\(y_{\mathcal{G}}^{\prime}\)可以是分类逻辑向量，也可以是用于回归的标量值，例如，使用均方误差（MSE）损失\(\mathcal{L}_{MSE} = ||y_{\mathcal{G}}^{\prime} - y_{\mathcal{G}}||^2\)。在实践中，当比较不同形式的GNN MP机制时，Citeseer（Caragea等，2014）、Cora、Pubmed（Sen等，2008）以及其他数据集（Kazius等，2005；Yanardag和Vishwanathan，2015）是评估一种GNN类型是否优于另一种的事实上的基准。

| 代码库 | 数据集 | #图 | 平均#节点/边 | \(y_{\mathcal{G}}^{\prime}\)分布与范围 | 指标 |
|--------|--------|-----|-------------|----------------------------------------|------|
| FlowerFormer (Hwang等，2024) | NAS-Bench-101 | 14,580 | 7/8.73 | \( \mathcal{N}(89.5,8.0) \); [9.50,94.7] | KT, SRCC, MAE, R² |
| | NAS-Bench-201 | 15,625 | 8/10 | \( \mathcal{N}(87.1,12.9) \); [10.0,94.4] | |
| | NAS-Bench-301 | 113,936 | 15/20 | \( \mathcal{N}(92.9,1.4) \); [72.5,94.8] | |
| | NAS-Bench-ASR | 8,242 | 11/20 | \( \mathcal{N}(29.7,20.6) \); [19.3,94.6] | |
| | NAS-Bench-Graph | 26,206 | 6/6.10 | \( \mathcal{N}(75.4,9.6) \); [9.2,83.1] | |
| PINAT (Lu等，2023) | NAS-Bench-101 | 423,624 | 7/8.73 | \( \mathcal{N}(90.2,5.9) \); [9.5,95.1] | KT, SRCC, MAE, Pr@K |
| | NAS-Bench-201 | 15,625 | 8/10 | \( \mathcal{N}(83.7,12.8) \); [9.71,91.6] | |
| AutoBuild (Mills等，2024) | NAS-Bench-101 | 423,624 | 7/8.73 | \( \mathcal{N}(90.2,05.9) \); [9.5,95.1] | SRCC, KT, MAE, MAPE |
| | NAS-Bench-201 | 15,625 | 8/10 | \( \mathcal{N}(87.1,12.9) \); [10.0,94.7] | |
| | OFA-MBv3 | 3,000 | 14.97/13.96 | \( \mathcal{N}(76.9,0.81) \); [74.2,78.7] | |
| | OFA-PN | 3,000 | 16.10/15.10 | \( \mathcal{N}(75.4,0.86) \); [72.3,77.4] | |
| | MBV3-PN-ONNX-IR | 6,000 | 225.18/249.69 | \( \mathcal{N}(76.2,1.11) \); [72.3,78.7] | |
| Qua2SeDiMo (Mills等，2025) | PixArt-\(\alpha\) | 374 | 568/818 | \( \mathcal{N}(318,123) \); [92,508] | SRCC, NDCG, KT, MAE |
| | HunYuan-DiT | 340 | 844/1172 | \( \mathcal{N}(292,75) \); [164,480] | |
| | Stable Diffusion XL | 44 | 1,316/1,701 | \( \mathcal{N}(348,137) \); [102,705] | |

表1：本文使用的图回归数据集概览。具体来说，我们考虑了四个使用GNN进行回归的代码库及其支持的数据集。对于每个数据集，我们报告了图数量、数据集中的平均节点/边数，以及目标标签的分布和范围。最后，我们还列举了每个代码库考虑的回归指标。对于所有NAS代码库，目标指DNN准确率，在此表中以百分比形式报告，但在代码中表示为小数。**加粗**的指标是评估的主要指标，用于图1（https://arxiv.org/html/2607.26404#Sx4.F1）。

#### 使用GNN进行回归

标量估计和排序与分类相比面临不同的挑战。一些回归器通过误差指标（如平均绝对误差MAE等）优先考虑预测的精确性，而另一些则关注秩相关指标（如肯德尔τ KT或斯皮尔曼秩相关系数SRCC）。还有一些可能将预测重新置于信息检索（IR）指标的背景下，如归一化折损累计增益（NDCG）（Zhang等，2021）。本文旨在探讨不同GNN消息传递机制在这些场景中的效能，并验证分类领域的增益是否适用于回归器GNN。

### GNN的设计空间基准

先前的工作已经……