随机图信号的生成扩散模型

# 随机图信号的生成扩散模型 来源：https://arxiv.org/html/2607.06833 Yiğit Berkay Uslu, Samar Hadou, Sergio Rozada, Shirin Saeedi Bidokhti Alejandro Ribeiro 本工作的初步结果部分已在ICASSP 2026会议上发表\[38 (https://arxiv.org/html/2607.06833#bib.bib44)\]，并出现在预印本\[37 (https://arxiv.org/html/2607.06833#bib.bib45)\]中。Y. Berkay Uslu、Samar Hadou、Shirin S. Bidokhti和Alejandro Ribeiro来自宾夕法尼亚大学电气与系统工程系，美国费城，邮编19104。Sergio Rozada来自胡安·卡洛斯国王大学信号处理与通信系，西班牙马德里。实现代码可在 https://github.com/yigit-uslu/graph-signal-diffusion-modeling 获取。 ###### 摘要 对图支撑的随机信号进行采样是许多图机器学习任务的基础，包括推荐系统、金融市场预测和无线网络优化。在这些场景中，目标信号是未知条件分布的实例。然而，现有方法主要依赖于复杂的、针对特定应用的设计，这些设计通常回归到条件均值，而不是从条件分布中采样。本文将此类问题统一为条件图信号生成建模，并通过一个单一的去噪扩散框架来解决。我们学习一个反向扩散过程，该过程由图神经网络（GNN）参数化，能够根据图拓扑和节点特征辅助信息直接生成图信号。该反向过程通过一种新颖的架构——U-图神经网络（U-GNN）实现，该架构将图像卷积U-Net推广到了图结构信号。U-GNN执行多分辨率编码器-解码器处理，其中池化和解池化简化为一种学习的节点选择（通过嵌套选择矩阵表示）以及对粗信号进行零填充以恢复完整节点集的操作。图卷积在原始图上进行，其步幅设定了跳跃距离，因此U-GNN在每个分辨率上都避免了显式的图粗化。我们通过两个生成任务展示了该方法：股票价格预测和最优无线资源分配，并在两个领域提供了广泛的数值结果。 ## I 引言 定义在非规则图结构域上的信号无处不在，涵盖推荐系统\[41 (https://arxiv.org/html/2607.06833#bib.bib29),24 (https://arxiv.org/html/2607.06833#bib.bib30),23 (https://arxiv.org/html/2607.06833#bib.bib31)\]、无线通信\[7 (https://arxiv.org/html/2607.06833#bib.bib1),31 (https://arxiv.org/html/2607.06833#bib.bib2),46 (https://arxiv.org/html/2607.06833#bib.bib3),42 (https://arxiv.org/html/2607.06833#bib.bib4),4 (https://arxiv.org/html/2607.06833#bib.bib5),39 (https://arxiv.org/html/2607.06833#bib.bib7)\]以及金融市场预测\[3 (https://arxiv.org/html/2607.06833#bib.bib21),30 (https://arxiv.org/html/2607.06833#bib.bib22),35 (https://arxiv.org/html/2607.06833#bib.bib23)\]等领域。在许多此类场景中，这些信号是来自未知概率分布的实例，而非确定性量\[25 (https://arxiv.org/html/2607.06833#bib.bib28)\]。本文提出了一种生成建模框架，用于学习从这些图信号分布中采样。 生成建模已被证明能有效合成图拓扑本身\[16 (https://arxiv.org/html/2607.06833#bib.bib56),40 (https://arxiv.org/html/2607.06833#bib.bib57)\]，分子生成就是一个典型例子\[14 (https://arxiv.org/html/2607.06833#bib.bib58)\]。我们则将图结构视为已知，学习生成节点定义的信号。现有的生成范式多种多样，可用于学习从未知分布中采样\[18 (https://arxiv.org/html/2607.06833#bib.bib53),10 (https://arxiv.org/html/2607.06833#bib.bib54),26 (https://arxiv.org/html/2607.06833#bib.bib55)\]，例如变分自编码器、生成对抗网络和归一化流。其中，去噪扩散模型及其基于评分和基于流的变体因其样本质量、训练稳定性以及在高维空间中原理性的条件推断能力而脱颖而出\[13 (https://arxiv.org/html/2607.06833#bib.bib47),32 (https://arxiv.org/html/2607.06833#bib.bib49),33 (https://arxiv.org/html/2607.06833#bib.bib48),22 (https://arxiv.org/html/2607.06833#bib.bib51)\]。尽管这些模型在参数模型逼近的对象和采样动态上有所不同，但它们共享一个共同结构：一个固定的前向过程逐步将数据破坏为易于处理的参考先验，一个学习到的反向过程则将从此先验中的采样去噪，回到数据分布。 图信号最近已成为生成建模（尤其是扩散建模）的目标，应用于诸如交通和金融序列预测\[38 (https://arxiv.org/html/2607.06833#bib.bib44),43 (https://arxiv.org/html/2607.06833#bib.bib26),5 (https://arxiv.org/html/2607.06833#bib.bib24),2 (https://arxiv.org/html/2607.06833#bib.bib25),28 (https://arxiv.org/html/2607.06833#bib.bib43)\]以及无线优化\[6 (https://arxiv.org/html/2607.06833#bib.bib12),21 (https://arxiv.org/html/2607.06833#bib.bib13),36 (https://arxiv.org/html/2607.06833#bib.bib11),11 (https://arxiv.org/html/2607.06833#bib.bib16),12 (https://arxiv.org/html/2607.06833#bib.bib15),37 (https://arxiv.org/html/2607.06833#bib.bib45),20 (https://arxiv.org/html/2607.06833#bib.bib18)\]等领域。然而，这些工作大多是特定于应用的，采用了针对任务定制的去噪器架构。它们的公式也往往是确定性的，寻求解分布使其质量集中在最优确定性解附近，而不是从条件分布中抽取多样化的样本。 在本文中，我们提出了一种用于图信号生成的通用方法论框架。其核心是设计一个扩散模型，其去噪网络编码了针对数据域定制的归纳偏置。对于图像，标准的去噪骨干是U-Net，具有对称的编码器-解码器结构和多分辨率层次\[27 (https://arxiv.org/html/2607.06833#bib.bib59),15 (https://arxiv.org/html/2607.06833#bib.bib64)\]。U-Net基于卷积神经网络（CNN），其层在规则像素网格上应用平移等变滤波器。对于图结构数据，其自然对应物是图神经网络（GNN），其层应用图移等变滤波器，从而将卷积处理扩展到非规则域\[8 (https://arxiv.org/html/2607.06833#bib.bib42)\]。 仅将CNN层替换为GNN层并不足以将U-Net设计适应于图信号去噪。主要障碍在于池化阶段。在图像设定中，像素网格提供了一个规则的池化网格，在每个下采样步骤后仍然存在，因此特征提取和空间缩减可以无缝组合。图数据缺乏这样的规范网格。一种常见的解决方法是像可微分聚类分配池化和top-k节点评分方案那样，通过一个学习到的池化操作符在每个分辨率上粗化图\[44 (https://arxiv.org/html/2607.06833#bib.bib60),9 (https://arxiv.org/html/2607.06833#bib.bib61)\]。这些方法主要用于图级任务，例如分类。然而，在任意粗化下，池化后的信号失去了作为原始图上卷积信号的清晰解释。 我们在本文中采取了不同的路径。我们将下采样和上采样（等价于图或节点（反）池化）形式化为一种*学习的节点（去）选择*操作，通过嵌套选择矩阵表达\[8 (https://arxiv.org/html/2607.06833#bib.bib42)\]。这些矩阵与去噪网络端到端地训练，因此每个分辨率保留了对手头去噪任务最具信息量的节点。选择算子及其转置发挥两种互补的作用。首先，选择的嵌套层次结构实例化了多分辨率编码器-解码器级联。每个编码器选择挑选一个更小的活跃节点子集，定义下一个粗分辨率，而解码器中匹配的转置将粗信号提升回更精细的分辨率。其次，在固定分辨率下，同一算子对保持GNN滤波可解释为在原始图上的卷积。转置将节点缩减的信号零填充到完整顶点集，GNN层在那里进行滤波，然后选择将结果返回到缩减域。与上述粗化方案不同，滤波因此在每个分辨率上都保持为原始图上的卷积。 我们还引入了一个步幅参数，用于设定每次图移的跳跃距离。这类似于CNN中扩张卷积替代固定池化规则的方式，将下采样和感受野增长融入卷积本身\[34 (https://arxiv.org/html/2607.06833#bib.bib76),45 (https://arxiv.org/html/2607.06833#bib.bib77)\]。在活跃节点上，更大的步幅扩大了聚合邻域，并防止了在重度下采样下图滤波器主要从零填充位置提取信息。这种构造避免了显式的图粗化，并允许卷积滤波和池化在任意分辨率下组合。 基于这一机制，我们提出了*U-图神经网络（U-GNN）*架构，作为经典U-Net的图域适配。它由U形编码器-解码器管道组成，带有跳跃连接，构建于GNN层以及上述池化和解池化操作符之上。然后，我们将图信号生成构建为一个条件去噪扩散过程，并用U-GNN参数化其反向过程。因此，生成过程直接以图拓扑和节点特征辅助信息为条件。尽管我们专注于扩散去噪，但U-GNN是一种通用的图信号学习架构。它继承了GNN的置换等变性、对扰动的稳定性以及跨拓扑的可迁移性\[29 (https://arxiv.org/html/2607.06833#bib.bib70),31 (https://arxiv.org/html/2607.06833#bib.bib2)\]。 我们在两个生成任务上演示了该框架和U-GNN架构。第一个是在金融指标相关图上的股票价格预测。给定近期的市场历史，我们生成未来的价格轨迹作为图信号，捕捉点预测和统计基线常常遗漏的市场不确定性和罕见的尾部事件。第二个是遍历服务质量（QoS）约束下的无线网络资源分配，其中最优策略本质上是概率性的，并通过时间共享实现。将来自专家原始-对偶算法的解样本视为信道（干扰）图上的图信号，我们学习在给定信道和用户状态信息的情况下从专家分配分布中采样。以下简要总结我们的贡献。 1. (C1). 我们开发了一种图信号生成建模方法，结合去噪扩散模型与GNN，用于采样随机图信号。 2. (C2). 我们通过一种新颖的U-GNN架构参数化反向扩散过程，该架构的构建模块是具有步幅和零填充池化的GNN层，将图像卷积U-Net推广到了图结构信号。 3. (C3). 我们将我们的方法应用于股票价格预测和最优无线资源分配，并在两个领域提供了广泛的数值结果。 本文的其余部分组织如下。第II节 (https://arxiv.org/html/2607.06833#S2) 介绍了条件图信号生成扩散框架。第III节 (https://arxiv.org/html/2607.06833#S3) 引入了带有内置步幅和池化的GNN。第IV节 (https://arxiv.org/html/2607.06833#S4) 组装了U-GNN架构。第V节 (https://arxiv.org/html/2607.06833#S5) 在无线资源分配和金融预测上验证了该方法。第VI节 (https://arxiv.org/html/2607.06833#S6) 总结了全文。 ## II 图信号生成扩散模型 考虑一个加权图 $\mathcal{G}=(\mathcal{V},\mathcal{E},\mathcal{W})$，有 $N$ 个节点，节点集 $\mathcal{V}=\{1,\ldots,N\}$，边集 $\mathcal{E}\subseteq\mathcal{V}\times\mathcal{V}$，以及权重映射 $\mathcal{W}:\mathcal{E}\to\mathbb{R}$。图信号为节点分配特征，收集成矩阵 $\mathbf{X}=[\mathbf{x}^1,\ldots,\mathbf{x}^F]\in\mathbb{R}^{N\times F}$，其第 $f$ 列 $\mathbf{x}^f\in\mathbb{R}^{N}$ 汇集了所有节点的第 $f$ 个特征。我们赋予 $\mathcal{G}$ 一个图移位算子（GSO）$\mathbf{S}\in\mathbb{R}^{N\times N}$，这是一个稀疏矩阵，当 $m\neq n$ 且 $(m,n)\notin\mathcal{E}$ 时，$[\mathbf{S}]_{m,n}=0$。我们注意到这个GSO的定义允许自由选择对角线元素。GSO编码了图拓扑，连续乘积（移位）$\mathbf{S}\mathbf{X}$ 沿着边传播信号值。常见的GSO选择包括（加权）邻接矩阵 $\mathbf{A}$ 和图拉普拉斯矩阵 $\mathbf{L}=\mathrm{diag}(\mathbf{A}\mathbf{1}_N)-\mathbf{A}$。 我们研究图信号的条件生成。目标是在已知图 $\mathcal{G}$ 上的图信号 $\mathbf{x}_0\in\mathbb{R}^{N}$。条件变量通过GSO $\mathbf{S}$ 聚合拓扑信息和辅助节点状态 $\mathbf{u}\in\mathbb{R}^{N\times U}$（辅助信息），即 $\boldsymbol{\xi}=(\mathbf{S},\mathbf{u})$。令 $q_{\boldsymbol{\xi}}$ 表示条件变量的分布，$q_{\mathbf{x}|\boldsymbol{\xi}}(\cdot\,|\,\boldsymbol{\xi})$ 表示给定 $\boldsymbol{\xi}$ 时目标的分布。这些定义了联合数据分布 $q_{\mathrm{data}}=q_{\mathbf{x}|\boldsymbol{\xi}}\,q_{\boldsymbol{\xi}}$，从中我们抽取对 $(\mathbf{x}_0,\boldsymbol{\xi})$。我们寻找一个参数化生成器 $p_{\boldsymbol{\theta}^\star}(\cdot\,|\,\boldsymbol{\xi})=p(\cdot\,|\,\boldsymbol{\xi};\boldsymbol{\theta}^*)$，其在 $q_{\boldsymbol{\xi}}$-几乎处处 $\boldsymbol{\xi}$ 下，其条件分布匹配 $q_{\mathbf{x}|\boldsymbol{\xi}}(\cdot\,|\,\boldsymbol{\xi})$，即
$$
\boldsymbol{\theta}^\star\in\operatornamewithlimits{argmin}_{\boldsymbol{\theta}}\mathbb{E}_{\boldsymbol{\xi}\sim q_{\boldsymbol{\xi}}}\big[\mathrm{D_{KL}}\big(q_{\mathbf{x}|\boldsymbol{\xi}}(\cdot\,|\,\boldsymbol{\xi})\;\big\|\;p_{\boldsymbol{\theta}}(\cdot\,|\,\boldsymbol{\xi})\big)\big].
$$
条件分布没有封闭形式。我们假设样本 $(\mathbf{x}_0,\boldsymbol{\xi})\sim q_{\mathrm{data}}$ 是可用的。因此，我们将最优生成器 $p_{\boldsymbol{\theta}^\star}$ 实现为条件去噪扩散模型，在数据集 $\{(\mathbf{x}_0^{(i)},\boldsymbol{\xi}^{(i)})\}_{i=1}^{N_{\text{train}}}$ 上训练，该数据集由从 $q_{\mathrm{data}}$ 中抽取的 $N_{\text{train}}$ 个样本组成。