GCCM：通过对比一致性模型增强生成图预测

# GCCM：通过对比一致性模型增强生成式图预测
来源：https://arxiv.org/html/2605.05689
Shaozhen Ma 新南威尔士大学 [email protected] & Wei Huang 新南威尔士大学 [email protected] & Hanchen Wang 悉尼科技大学 [email protected] & Dong Wen 新南威尔士大学 [email protected] & Wenjie Zhang 新南威尔士大学 [email protected]

###### 摘要

条件生成模型，特别是基于扩散的方法，近期被应用于图预测任务中，通过将目标建模为给定输入图的条件分布，取得了与确定性预测器相媲美的结果。然而，现有的基于扩散的预测方法通常在推理时需要昂贵的迭代去噪过程，且往往面临采样不稳定的问题，这促使了近期减少推理去噪步数并通过一致性训练等技术实现稳定采样的努力。尽管取得了这些进展，我们发现现有的用于图预测的一致性训练方法可能会陷入“捷径”解决方案（shortcut solution）：模型可能试图通过忽略噪声目标（即赋予其可忽略的权重）来满足自一致性约束，最终退化为纯粹的确定性预测器。为了缓解这种捷径解决方案，我们提出了 GCCM（Graph Contrastive Consistency Model，图对比一致性模型）。该模型不仅局限于不同噪声水平下相同目标之间的孤立配对匹配，还通过向对比一致性目标中引入负样本对来增强模型能力。这增加了一个额外的分离要求，使得简单的捷径解决方案不再足以满足所提出的目标。此外，我们对输入节点/边特征应用特征扰动，以打破对输入图的相同条件约束，从而使捷径解决方案在不同噪声水平下不再产生相同的预测，变得不再具有吸引力。在基准数据集上的大量实验表明，GCCM 缓解了捷径解决方案，并与确定性预测器相比，在图预测中取得了持续的性能提升。

## 1 引言

图上的预测任务（例如，节点级/图级预测）是图机器学习中的基本问题，旨在预测定义在图结构数据上的目标变量。早期的图预测方法 [14, 27, rampášek2023recipegeneralpowerfulscalable] 主要关注确定性范式，直接将输入节点或图映射到目标。近年来，生成式模型，特别是基于扩散的模型，在各类图生成任务中展现了极具前景的性能 [24, 25, 11, 10]。得益于其在建模复杂数据分布方面的强大能力，越来越多的关注被投入到将基于扩散的范式扩展到图预测任务中。与确定性模型不同，基于扩散的方法将预测重构为条件生成问题，建模目标变量的完整条件分布，而不是产生单一的点估计。尽管潜力巨大，将基于扩散的模型应用于图预测任务在两个关键方面仍具有挑战性：(1) 步级低效（Step-Level Inefficiency）：基于扩散的方法通过迭代去噪进行推理，通常涉及数十甚至数百个反向步骤，引入了巨大的计算开销，限制了其推理效率；(2) 样本级低效（Sample-Level Inefficiency）：从单个噪声样本获得的预测可能表现出高方差，导致推理不稳定。为了获得可靠的预测，生成式方法通常需要聚合来自多个噪声样本的预测，这进一步增加了推理成本。

为了解决上述挑战，一种常见的策略是采用一致性训练 [22, 23] 来增强基于扩散的模型。具体而言，PCL [16] 提出了一种预测一致性框架，通过强制不同噪声水平间的一致性映射来训练基于扩散的图预测模型，从而实现了从单个噪声样本的稳定采样和一步推理。尽管效率很高，但我们观察到将一致性训练应用于图预测存在一种捷径解决方案。当不同噪声水平下的预测基于相同的底层输入图条件化并强制匹配时，模型可以通过忽略噪声目标并仅依赖条件输入来平凡地满足一致性目标。这种潜在的捷径会使条件去噪网络退化为纯粹的确定性预测器，从而削弱了条件生成的目标。

**我们的贡献。** 受上述观察的启发，我们提出了图对比一致性模型（GCCM）以缓解基于一致性的预测中的此类捷径解决方案。具体而言，(1) 我们不再将自一致性视为同一底层实例（即节点级预测中的节点和图级预测中的图）的两个去噪预测之间的纯粹匹配约束，而是在小批次中跨不同实例引入负样本对。这产生了一种对比一致性目标，它在潜在空间中使正样本对的目标表示对齐，同时将它们与负样本分离，使得简单地忽略噪声目标来满足对比一致性目标变得更加困难。尽管如此，仅提出的对比一致性目标并不能完全消除捷径解决方案。当条件节点/边特征在两个噪声视图间保持相同时，模型可能仍试图仅依赖相同的条件输入并忽略噪声目标来满足正样本对的一致性（即捷径解决方案）。(2) 为了进一步增强所提出的对比一致性目标，我们对输入节点/边特征应用特征扰动，以打破相同的条件约束，使捷径解决方案变得不再具有吸引力。综上所述，这两个组件鼓励我们提出的 GCCM 充分利用生成式 formulation 来提升预测器的性能。实验结果表明，GCCM 在广泛的基准数据集和预测任务上优于现有的基于扩散的图预测基线。详细的消融研究进一步验证了所提组件在缓解捷径解决方案方面的贡献。

## 2 相关工作

**用于图预测的生成式扩散模型。** 近年来，扩散模型 [8, 21, 18, 19] 已成为各类生成任务的强大框架。受其强大生成能力的启发，越来越多的工作将扩散模型扩展到图相关生成任务 [25, 29]。除了图生成任务外，LGD [29] 通过在潜在空间中应用扩散来生成潜在表示，然后使用学习到的解码器将它们映射到目标空间，探索了用于图预测的扩散模型。虽然有效，但由于推理时的迭代去噪，它仍然会产生巨大的计算开销。基于扩散模型，一致性模型 [22, 23] 通过自一致性目标直接从噪声样本学习映射到干净数据，消除了迭代反向扩散，从而实现高效的一步或几步生成。受一致性映射原理的启发，PCL [16] 通过强制不同噪声水平间的一致性预测，进一步发展了用于预测任务的预测一致性框架。这种 formulation 在基于扩散的图预测模型中实现了稳定采样和一步推理。由于篇幅限制，关于经典确定性图预测模型的扩展相关工作见附录 A。

## 3 预备知识

在本节中，我们用 $\mathbf{Y}$ 表示要生成的目标变量，用 $\mathbf{C}$ 表示条件生成的条件输入。

### 3.1 扩散模型

扩散模型 [20, 1, 9, 8, 18] 通过一个前向过程逐渐将干净的目标 $\mathbf{Y}_0$ 转化为噪声，并通过反向过程学习逐步恢复干净的目标。

#### 3.1.1 前向过程

前向过程逐渐将干净的目标 $\mathbf{Y}_0$ 破坏为一系列噪声潜变量 $\mathbf{Y}_{1:T}=\{\mathbf{Y}_1, \mathbf{Y}_2, ..., \mathbf{Y}_T\}$，定义为 $q(\mathbf{Y}_{1:T}|\mathbf{Y}_0)=\prod_{t=1}^T q(\mathbf{Y}_t|\mathbf{Y}_{t-1})$。

**离散目标。** 对于离散目标，干净目标以一热编码形式表示为 $\mathbf{Y}_0=\mathbf{Y}\in\{0,1\}^{n\times K}$，其中 $n$ 是目标变量的数量，$K$ 是类别数量。前向过程定义为 $q(\mathbf{Y}_t|\mathbf{Y}_{t-1})=\text{Cat}(\mathbf{Y}_t; \; \mathbf{p}=\mathbf{Y}_{t-1}\mathbf{Q}_t)$，其中 $\text{Cat}(\mathbf{Y}_t; \mathbf{p})$ 表示在 $K$ 个一热向量上的类别分布，概率由 $\mathbf{p}$ 给出，且 $\mathbf{Q}_t=(1-\beta_t)\mathbf{I}+\frac{\beta_t}{K}\mathbf{1}\mathbf{1}^\top \in \mathbb{R}^{K\times K}$ 是决定时间步 $t$ 引入破坏的转移矩阵，其中 $\beta_t\in(0,1)$ 是破坏率。

**连续目标。** 令 $\mathbf{Y}_0=\mathbf{Y}\in\mathbb{R}^{n\times 1}$ 表示干净目标。对于连续目标，前向过程 $q(\mathbf{Y}_t|\mathbf{Y}_{t-1})$ 通过随时间逐步注入标准高斯噪声 $\boldsymbol{\epsilon}\sim\mathcal{N}(\mathbf{0}, \mathbf{I})$ 来扰动 $\mathbf{Y}_0$，使得 $q(\mathbf{Y}_t|\mathbf{Y}_{t-1})=\mathcal{N}(\mathbf{Y}_t; \; \sqrt{1-\beta_t}\,\mathbf{Y}_{t-1}, \; \beta_t\mathbf{I})$，其中 $\beta_t\in(0,1)$ 控制时间步 $t$ 的噪声水平。

#### 3.1.2 反向过程

反向过程通过定义一系列学习到的条件转移 $p_\theta(\mathbf{Y}_{0:T}|\mathbf{C})=p(\mathbf{Y}_T) \prod_{t=1}^T p_\theta(\mathbf{Y}_{t-1}|\mathbf{Y}_t, \mathbf{C})$ 来重建干净目标，这些转移逐步将 $\mathbf{Y}_T$ 转化为 $\mathbf{Y}_0$。每个转移 $p_\theta(\mathbf{Y}_{t-1}|\mathbf{Y}_t, \mathbf{C})$ 由去噪网络 $f_\theta$ 参数化。在训练期间，扩散模型采样一个时间步 $t$ 并通过前向过程获得相应的噪声目标 $\mathbf{Y}_t$。在推理期间，它们从随机噪声目标 $\mathbf{Y}_T$ 开始，并迭代应用学习到的反向转移将 $\mathbf{Y}_T$ 去噪至目标分布。

**离散目标。** 对于离散目标，一种常见的参数化方法是训练一个去噪网络 $f_\theta(\mathbf{Y}_t, t, \mathbf{C})$ 来预测干净目标分布，然后通过边际化预测到的干净目标 $\tilde{\mathbf{Y}}_0$ 来获得反向分布，使得 $p_\theta(\mathbf{Y}_{t-1}|\mathbf{Y}_t, \mathbf{C})=\sum_{\tilde{\mathbf{Y}}} q(\mathbf{Y}_{t-1}|\mathbf{Y}_t, \tilde{\mathbf{Y}}_0) \; f_\theta(\mathbf{Y}_t, t, \mathbf{C})$，其中后验 $q(\mathbf{Y}_{t-1}|\mathbf{Y}_t, \mathbf{Y}_0)$ 可以通过 $q(\mathbf{Y}_{t-1}|\mathbf{Y}_t, \mathbf{Y}_0)=\frac{q(\mathbf{Y}_t|\mathbf{Y}_{t-1}, \mathbf{Y}_0) \; q(\mathbf{Y}_{t-1}|\mathbf{Y}_0)}{q(\mathbf{Y}_t|\mathbf{Y}_0)}$ 获得。训练目标最小化预测目标与真实干净目标之间的预期差异：$\mathcal{L}_{\text{disc}}(\theta)=\mathbb{E}[d(f_\theta(\mathbf{Y}_t, t, \mathbf{C}), \, \mathbf{Y}_0)]$，其中 $d(\cdot, \cdot)$ 通常是离散目标的交叉熵损失。

**连续目标。** 对于连续目标，反向高斯转移定义为 $p_\theta(\mathbf{Y}_{t-1}|\mathbf{Y}_t, \mathbf{C})=\mathcal{N}\Big(\mathbf{Y}_{t-1}; \mu_\theta(\mathbf{Y}_t, t, \mathbf{C}), \beta_t\mathbf{I}\Big)$，其中 $\mu_\theta(\mathbf{Y}_t, t, \mathbf{C})$ 和 $\beta_t\mathbf{I}$ 分别表示反向转移的均值和协方差。遵循噪声预测参数化，去噪网络预测注入的高斯噪声 $\hat{\boldsymbol{\epsilon}}=(\mathbf{Y}_t-\sqrt{\bar{\alpha}_t}\,\mathbf{Y}_0)\,/\,\sqrt{1-\bar{\alpha}_t}=f_\theta(\mathbf{Y}_t, t, \mathbf{C})$，这诱导了均值函数 $\mu_\theta(\mathbf{Y}_t, t, \mathbf{C})=\frac{1}{\sqrt{\alpha_t}}\Big(\mathbf{Y}_t-\frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,f_\theta(\mathbf{Y}_t, t, \mathbf{C})\Big)$。训练目标最小化预测噪声与注入噪声之间的预期差异：$\mathcal{L}_{\text{cont}}(\theta)=\mathbb{E}[d(f_\theta(\mathbf{Y}_t, t, \mathbf{C}), \, \boldsymbol{\epsilon})]$，其中 $d(\cdot, \cdot)$ 通常是连续目标的均方误差（MSE）。

### 3.2 一致性模型

一致性模型 [22, 23] 通过自