在分布偏移下的归纳图在线贝叶斯节点分类

# 分布偏移下归纳图上的在线贝叶斯节点分类
来源：https://arxiv.org/html/2609.13655
金文·徐¹、冈萨洛·马特奥斯·巴克斯坦²、秦·卢¹
作者单位：¹佐治亚大学电气与计算机工程学院，美国佐治亚州雅典市
²罗切斯特大学电气与计算机工程系，美国纽约州罗切斯特市
电子邮件：jinwen\.xu@uga\.edu, gmateosb@ur\.rochester\.edu, qin\.lu@uga\.edu

###### 摘要

在动态变化的图上，节点分类器面临两大需求：在分布偏移下对新到达节点的归纳泛化能力，以及为安全敏感应用提供的校准不确定性。标准图神经网络（GNN）仅进行一次性训练，无法满足这两项需求。我们采用贝叶斯最后一层（BLL）模型，在确定性GNN编码器之上放置随机的最后一层（LL）参数，以实现不确定性量化。分类所需的类别softmax似然破坏了高斯共轭性，因此训练后验和测试时的流式更新均没有闭式解。我们同时解决了这两个问题：变分贝叶斯最后一层（VBLL）目标通过最大化带有蒙特卡洛（MC）期望对数似然的证据下界，联合训练编码器和近似LL后验；在测试时，对LL后验（编码器固定）进行在线拉普拉斯更新，相当于一种具有指数遗忘和训练后验Kullback-Leibler（KL）锚点的幂先验贝叶斯模型。在五个分布偏移下的节点分类基准测试中，在线GVBLL是唯一在所有数据集上同时赢得准确率和NLL的模型，在Cora上比最强的非GVBLL基线高出高达\+17\+17个百分点，在ogbn\-arxiv上高出\+14\+14个百分点，并且在与MC Dropout、深度集成、温度缩放和高斯过程分类器的校准比较中仍具竞争力。

###### 索引术语：

图神经网络、变分贝叶斯最后一层、在线学习、节点分类、分布偏移、不确定性量化。

## I 引言

图神经网络（GNN）[1 (https://arxiv.org/html/2609.13655#bib.bib6),2 (https://arxiv.org/html/2609.13655#bib.bib3),3 (https://arxiv.org/html/2609.13655#bib.bib7),4 (https://arxiv.org/html/2609.13655#bib.bib16)][5 (https://arxiv.org/html/2609.13655#bib.bib23)]是节点分类的主流方法，在训练节点和测试节点共享相同分布时表现良好。在现实世界的部署中，这一假设常常失效：引文网络不断吸纳新兴研究领域的论文，社交图遇到新的用户社区，欺诈检测系统面临不断演变的攻击模式。在所有这些情况下，图随时间增长，而新到达的节点（在训练时归纳地未见过）相对于训练数据表现出分布偏移[6 (https://arxiv.org/html/2609.13655#bib.bib17)]。这种非平稳流式设置暴露了GNN分类器的两个局限性。首先，它们是*静态的*：一旦训练完成，模型参数就固定了，没有机制来适应数据分布的漂移。其次，它们是*未校准的*：确定性分类器的softmax输出无法反映真实的预测不确定性[7 (https://arxiv.org/html/2609.13655#bib.bib18)]，这对于分布外节点的下游决策至关重要。保形预测可以为固定预测器添加覆盖保证，但它本身不会更新分类器，也不会在非平稳流中保留贝叶斯后验[8 (https://arxiv.org/html/2609.13655#bib.bib2),9 (https://arxiv.org/html/2609.13655#bib.bib1)]。

相关工作。现有方法仅部分解决了这些局限性。贝叶斯GNN方法[10 (https://arxiv.org/html/2609.13655#bib.bib8),11 (https://arxiv.org/html/2609.13655#bib.bib9)]在整个网络上设置不确定性，但计算代价昂贵，并且在分布偏移下需要完全重新训练。变分贝叶斯最后一层（VBLL）[12 (https://arxiv.org/html/2609.13655#bib.bib4)]通过将贝叶斯处理限制在最终分类器上，提供了一种轻量级替代方案。现有的VBLL模型依赖于高斯-高斯共轭性来实现闭式回归更新；类别softmax似然破坏了这种共轭性，使得在线VBLL分类问题悬而未决。通用不确定性量化（UQ）方法——蒙特卡洛（MC）Dropout[13 (https://arxiv.org/html/2609.13655#bib.bib13)]、深度集成[14 (https://arxiv.org/html/2609.13655#bib.bib14)]和温度缩放[15 (https://arxiv.org/html/2609.13655#bib.bib5)]——与架构无关，但在整个流中不保留后验状态。深度核学习[16 (https://arxiv.org/html/2609.13655#bib.bib22)]用网络特征上的高斯过程替换了分类头。BLL则使用线性核，以表达能力为代价换取闭式回归更新和\(O(d_e C)\)的推理复杂度，其中\(d_e\)是嵌入维度，\(C\)是类别数。持续学习方法，包括弹性权重巩固（EWC）[17 (https://arxiv.org/html/2609.13655#bib.bib21)]、变分持续学习（VCL）[18 (https://arxiv.org/html/2609.13655#bib.bib10),19 (https://arxiv.org/html/2609.13655#bib.bib11)]和贝叶斯持续方法[20 (https://arxiv.org/html/2609.13655#bib.bib19),21 (https://arxiv.org/html/2609.13655#bib.bib20)]，更新整个网络而非利用最后一层结构。我们的KL锚点将EWC的Fisher加权二次惩罚专门化到最后一层，而我们的流式更新则采用了VCL将先前近似后验视为新先验的惯例。

所提方法与贡献。我们将VBLL扩展到图上的在线类别节点分类，并将所得模型称为图VBLL（GVBLL）。一个变分贝叶斯线性头置于GNN编码器之上，通过证据下界（ELBO）进行联合训练，使用MC期望对数似然和KL退火。在测试时，编码器被冻结，只有轻量级的LL后验在新节点到达时更新。由于类别似然排除了闭式回归更新，我们推导了一种基于拉普拉斯的在线规则，带有遗忘因子\(\lambda \in [0,1)\)和指向训练后验的KL锚点。该规则等价于幂先验贝叶斯更新[22 (https://arxiv.org/html/2609.13655#bib.bib15)]。

我们对图上可信在线学习的贡献如下：(C1) 一个具有类别softmax似然、基于MC的变分训练和MAP/MC预测推理的GVBLL节点分类框架（第二节 (https://arxiv.org/html/2609.13655#S2)）。(C2) 一种基于拉普拉斯的在线后验更新规则，具有指数遗忘（因子\(\lambda \in [0,1)\)，有效记忆长度\(1/(1-\lambda)\)批数据）和KL锚点，等价于幂先验贝叶斯更新（第三节 [III (https://arxiv.org/html/2609.13655#S3)]）。(C3) 在5个分布偏移下的节点分类基准测试上与GNN、标准UQ和高斯过程基线进行的实验，展示了在准确性、校准性和适应性方面的提升（第四节 [IV (https://arxiv.org/html/2609.13655#S4)]）。

## II 用于分类的变分贝叶斯最后一层

标准GNN分类器使用确定性线性头，它无法提供认知不确定性，也无法在不重新训练整个网络的情况下更新。我们用贝叶斯线性层替换它，其后验可以在测试时高效更新。与回归任务中的VBLL不同，类别softmax似然破坏了高斯共轭性，使得训练目标和预测分布都难以处理。我们在定义模型（II-A节 (https://arxiv.org/html/2609.13655#S2.SS1)）之后，通过训练中的蒙特卡洛估计（II-B节 (https://arxiv.org/html/2609.13655#S2.SS2)）和推理（II-C节 (https://arxiv.org/html/2609.13655#S2.SS3)）来解决这两个问题。

### II-A 问题设置

考虑一个图\(\mathcal{G}_t := (\mathcal{V}_t, \mathcal{E}_t)\)，它在时刻\(t\)具有节点集\(\mathcal{V}_t\)和边集\(\mathcal{E}_t\)。在\(t=0\)时，有一组\(\mathcal{V}_0\)个\(N\)个有标签的训练节点可用，其特征矩阵为\(\bm{X}_0 \in \mathbb{R}^{N \times d}\)，标签为\(\bm{y}_0 \in [C]^{N}\)，其中\([C] \coloneqq \{1,\ldots,C\}\)。在每个后续步骤\(t\)，一批之前未见过的节点\(\Delta\mathcal{V}_t\)到达，并与现有节点形成边，使得\(\mathcal{V}_t = \mathcal{V}_{t-1} \cup \Delta\mathcal{V}_t\)。任务是对每个\(v \in \Delta\mathcal{V}_t\)进行带有校准不确定性的分类。我们关注节点到达的情况。处理节点离开需要从累积的后验中移除其似然贡献，这不在当前范围之内。

一个具有可训练参数\(\bm{\theta}\)的GNN编码器\(g_{\bm{\theta}}\)（例如GraphSAGE [2 (https://arxiv.org/html/2609.13655#bib.bib3)]、GCN [1 (https://arxiv.org/html/2609.13655#bib.bib6)]、GAT [3 (https://arxiv.org/html/2609.13655#bib.bib7)]）将每个节点\(v\)映射到一个嵌入\(\bm{z}_v = g_{\bm{\theta}}(\bm{x}_v, \mathcal{G}) \in \mathbb{R}^{d_e}\)，其中\(\bm{x}_v \in \mathbb{R}^d\)是节点\(v\)的特征向量。在此编码器之上，一个贝叶斯线性分类头定义了生成模型：

\[
\begin{aligned}
\bm{w}_c &\sim \mathcal{N}(\bm{0}, \bm{I}_{d_e}), \quad c \in [C], \quad (1)\\
y_v \mid \bm{z}_v, \bm{W} &\sim \text{Cat}\left(\softmax(\bm{z}_v^\top \bm{W} / \tau_v)\right), \quad (2)
\end{aligned}
\]

其中\(\bm{W} := [\bm{w}_1,\ldots,\bm{w}_C] \in \mathbb{R}^{d_e \times C}\)是权重矩阵，\(\text{Cat}(\bm{p})\)表示具有类别概率\(\bm{p}\)的类别分布，\(\softmax(\bm{a})_c = \exp(a_c) / \sum_{c'} \exp(a_{c'})\)，而\(\tau_v = \text{softplus}(h_{\bm{\theta}_\tau}(\bm{z}_v)) > 0\)是一个由共享多层感知机（MLP）\(h_{\bm{\theta}_\tau}\)实现的、具有可学习参数\(\bm{\theta}_\tau\)的逐节点温度。

### II-B 变分训练

给定模型 (1) 和 (2) 的生成模型，\(\bm{W}\)的后验无法以闭式计算，因为类别似然 (2) 与高斯先验 (1) 不共轭。因此，我们使用变分训练来联合学习GNN参数\(\bm{\theta}\)、温度头参数\(\bm{\theta}_\tau\)以及\(\bm{W}\)的近似后验。为便于处理，假设变分后验是完全分解的高斯分布：

\[
q(\bm{W}) = \prod_{c=1}^{C} q(\bm{w}_c) = \prod_{c=1}^{C} \mathcal{N}(\bm{w}_c;\; \bm{\mu}_c,\; \diag(\bm{\sigma}_c^{2})), \quad (3)
\]

其中\(\bm{\mu}_c\)和\(\bm{\sigma}_c^{2}\)是类别\(c\)的变分均值和对角方差，均在\(\mathbb{R}^{d_e}\)中。我们将类别均值堆叠为\(\bm{M} := [\bm{\mu}_1,\ldots,\bm{\mu}_C] \in \mathbb{R}^{d_e \times C}\)，类别方差堆叠为\(\bm{\Sigma} := [\bm{\sigma}_1^{2},\ldots,\bm{\sigma}_C^{2}] \in \mathbb{R}_{>0}^{d_e \times C}\)。因此，行索引代表嵌入维度，列索引代表类别。后验包含\(2 d_e C\)个变分参数，每个类别特定的权重向量\(\bm{w}_c\)都有自己的不确定性分布。

所有参数，包括编码器\(\bm{\theta}\)、后验均值\(\bm{M}\)、后验对数方差\(\log\bm{\Sigma}\)和温度头\(\bm{\theta}_\tau\)，都通过最小化负证据下界（ELBO）进行联合训练：

\[
\begin{aligned}
\mathcal{L}(\bm{\theta},\bm{M},\bm{\Sigma},\bm{\theta}_\tau) &= -\frac{1}{N} \sum_{v \in \mathcal{V}_0} \underbrace{\mathbb{E}_{q(\bm{W})} \left[ \log p(y_v \mid \bm{z}_v, \bm{W}) \right]}_{\text{期望对数似然 (ELL)}} + \frac{\alpha_{\text{KL}}}{N} \, D_{\text{KL}}(q \,\|\, p), \quad (4)
\end{aligned}
\]

其中\(\bm{z}_v = g_{\bm{\theta}}(\bm{x}_v, \mathcal{G}_0)\)通过编码器依赖于\(\bm{\theta}\)，因此\(\mathcal{L}\)的梯度同时流经贝叶斯头参数\((\bm{M},\bm{\Sigma})\)和编码器权重\(\bm{\theta}\)。这里，分解后验 (3) 与标准正态先验 (1) 之间的Kullback-Leibler（KL）散度，在丢弃加性常数和正乘性常数后，为：

\[
D_{\text{KL}}(q \,\|\, p) \propto \sum_{j,c} \sigma_{j,c}^{2} + \|\bm{M}\|_{F}^{2} - \sum_{j,c} \log \sigma_{j,c}^{2}, \quad (5)
\]

其中\(\|\bm{M}\|_{F}^{2} = \sum_{j,c} \mu_{j,c}^{2}\)是Frobenius范数的平方。我们在训练过程中将KL权重\(\alpha_{\text{KL}}\)从0退火到1：在总训练轮数\(E\)的前\(E/3\)轮，\(\alpha_{\text{KL}} = 0\)，然后线性增加到1。当\(\alpha_{\text{KL}} = 0\)时，损失简化为纯MC分类，\(\bm{M}\)自由学习；随着\(\alpha_{\text{KL}}\)增加，\(\bm{\Sigma}\)学习在分类准确性（通过ELL）和向先验正则化（通过KL）之间取得平衡。

与回归VBLL [12 (https://arxiv.org/html/2609.13655#bib.bib4)] 不同，类别softmax似然使得ELL在解析上难以处理。我们通过重参数化技巧[23 (https://arxiv.org/html/2609.13655#bib.bib12)]来估计它：抽取\(S\)个权重样本\(\bm{W}^{(s)} = \bm{M} + \bm{\Sigma}^{1/2} \odot \bm{E}^{(s)}\)，\(\bm{E}^{(s)} \sim \mathcal{N}(\bm{0}, \bm{I}_{d_e \times C})\)，其中\(\odot\)表示逐元素（Hadamard）乘法，得到

\[
\text{ELL} = \frac{1}{NS} \sum_{v,s} \log \softmax(\bm{z}_v^\top \bm{W}^{(s)} / \tau_v)_{y_v}. \quad (6)
\]

两阶段训练协议。在第一阶段（离线），我们使用Adam优化器最小化 (4) 式 \(E\) 个轮次，获得训练好的GNN编码器\(g_{\bm{\theta}^*}\)、温度头\(h_{\bm{\theta}_\tau^*}\)和贝叶斯头参数\((\bm{M}^*,\bm{\Sigma}^*)\)。MC ELL在这一阶段至关重要：每个样本\(\bm{W}^{(s)}\)通过重参数化依赖于\(\bm{\Sigma}\)，因此\(\bm{M}\)和\(\bm{\Sigma}\)都接收到有信息量的梯度。如果仅在\(\bm{M}\)处评估确定性ELL，则\(\bm{\Sigma}\)会收到零似然梯度，从而仅受先验支配。在