多重图中的异质性建模:一种自适应的节点分类方法

arXiv cs.LG 论文

摘要

本文介绍了HAAM,一种用于多重图中节点分类的新方法,能够适应不同维度上的同质性和异质性交互。它使用维度特定的兼容性矩阵以及通过切比雪夫多项式近似的可训练低通和高通滤波器的乘积,来捕捉信号的平滑和突变变化。

arXiv:2605.12699v1 公告类型:新 摘要:现有的多重图模型通常假设同质性,即相连的节点倾向于属于同一类别或具有相似属性。因此,这些模型在处理具有异质性的图时可能会遇到困难,在异质性图中,相连的节点通常属于不同类别并具有不同属性。虽然最近开发了一些方法用于从具有异质性的单维图中学习可靠的节点表示,但它们并未完全解决多重图的复杂性。在多重图中,节点通过多种类型的边(称为维度)连接,这些边可以同时表现出同质性和异质性交互。为了解决这一差距,我们提出\methodname,一种用于多重图中节点分类的新方法,能够适应同质性和异质性维度。\methodname 引入了维度特定的兼容性矩阵来建模不同维度上的同质性和异质性程度。一个关键的创新是它使用了通过切比雪夫多项式近似的可训练低通和高通滤波器的乘积,来捕捉图信号中的平滑和突变变化。通过组合这些滤波器并使用近端梯度方法优化标签预测,\methodname 动态调整以适应每个维度的异质性特征。在合成和真实世界数据集上的大量实验证明,\methodname 能够捕捉多重图中同质性和异质性交互的复杂相互作用,并且与最先进的方法相比,倾向于产生更优的节点分类性能。
查看原文
查看缓存全文

缓存时间: 2026/05/14 06:17

# 复用图中的异质性建模:一种适用于节点分类的自适应方法

**来源:** https://arxiv.org/html/2605.12699

**Kamel Abdous**<sup>1</sup> 和 **Nairouz Mrabah**<sup>1</sup> 对本文贡献等同。  
蒙特利尔魁北克大学计算机科学系,蒙特利尔,加拿大  
[email protected]; [email protected]; [email protected]

**Nairouz Mrabah**<sup>1</sup>  
蒙特利尔魁北克大学计算机科学系,蒙特利尔,加拿大  
[email protected]; [email protected]; [email protected]

**Mohamed Bouguessa**  
蒙特利尔魁北克大学计算机科学系,蒙特利尔,加拿大  
[email protected]; [email protected]; [email protected]

###### 摘要

现有的复用图模型通常假设同质性(homophily),即相连节点倾向于属于同一类别或共享相似属性。因此,这些模型在处理异质性(heterophily)图时可能表现不佳——在异质性图中,相连节点通常属于不同类别并具有不同的属性。尽管已有一些方法被开发用于从具有异质性的单维图中学习可靠的节点表示,但它们未能完全解决复用图的复杂性。在复用图中,节点通过多种类型的边(称为维度)连接,这些边可能同时表现出同质性和异质性交互。为填补这一空白,我们提出了 HAAM,一种针对复用图节点分类的新方法,能够自适应于同质性和异质性维度。HAAM 引入了维度特定的兼容性矩阵,以建模不同维度的同质性和异质性程度。其关键创新在于使用可训练的低通和高通滤波器的乘积(通过 Chebyshev 多项式逼近)来捕获图信号中的平滑变化和突变。通过组合这些滤波器,并使用近端梯度法优化标签预测,HAAM 动态地适应每个维度的异质性特征。在合成和真实世界数据集上的大量实验证明,HAAM 能够捕获复用图中同质性和异质性交互的复杂相互作用,并在节点分类性能上往往优于现有方法。

**关键词:** 复用图;异质性与同质性;图神经网络

## 1 引言

复用图通过在一个结构中捕获多个交互层,为建模互联系统提供了一个全面的框架 [5 (https://arxiv.org/html/2605.12699#bib.bib78)]。与仅用单一边类型表示关系的传统单维图 [30 (https://arxiv.org/html/2605.12699#bib.bib92), 29 (https://arxiv.org/html/2605.12699#bib.bib94), 28 (https://arxiv.org/html/2605.12699#bib.bib95)] 不同,复用图允许同一节点集之间存在多种多样的同时连接 [1 (https://arxiv.org/html/2605.12699#bib.bib93)]。每种连接类型代表一个不同的图维度。这种能力在建模复杂系统时尤其有用,例如社交网络 [6 (https://arxiv.org/html/2605.12699#bib.bib12)]、生物网络 [31 (https://arxiv.org/html/2605.12699#bib.bib5)] 和在线推荐系统 [38 (https://arxiv.org/html/2605.12699#bib.bib14)] 中,实体通过各种渠道进行交互。通过保留每种交互的独特性质,复用图支持对系统动态进行更准确和细致的分析,这可能会更深入地理解不同连接层如何影响整体行为 [2 (https://arxiv.org/html/2605.12699#bib.bib3)]。

图建模技术通常依赖于同质性假设,即如果节点共享相同类别或紧密相关的属性,则它们更有可能连接 [37 (https://arxiv.org/html/2605.12699#bib.bib79)]。尽管这一假设支撑着许多传统方法,但在连接由多样性甚至对立因素产生的系统中,其适用性可能有限 [46 (https://arxiv.org/html/2605.12699#bib.bib72)]。在这种情况下,异质性发挥着重要作用,因为具有不同属性的节点可能更有可能连接 [23 (https://arxiv.org/html/2605.12699#bib.bib81)]。例如,专业网络促进具有互补技能的个人之间的协作 [4 (https://arxiv.org/html/2605.12699#bib.bib82)],而生物系统通常依赖于假设不同但相互依赖角色的实体之间的交互 [20 (https://arxiv.org/html/2605.12699#bib.bib71)]。

尽管在建模复用图中的同质性方面取得了进展 [41 (https://arxiv.org/html/2605.12699#bib.bib4), 18 (https://arxiv.org/html/2605.12699#bib.bib49), 19 (https://arxiv.org/html/2605.12699#bib.bib42), 25 (https://arxiv.org/html/2605.12699#bib.bib48), 34 (https://arxiv.org/html/2605.12699#bib.bib34), 35 (https://arxiv.org/html/2605.12699#bib.bib88)],异质性的作用仍相对未被充分探索。虽然最近的努力研究了传统单维图中的异质性 [21 (https://arxiv.org/html/2605.12699#bib.bib1), 17 (https://arxiv.org/html/2605.12699#bib.bib2), 32 (https://arxiv.org/html/2605.12699#bib.bib67), 43 (https://arxiv.org/html/2605.12699#bib.bib74)],但将这一框架扩展到复用图引入了额外的挑战。复用系统通常表现出冲突的连接模式,其中节点可能在一个维度上不相似,但在另一个维度上相似 [7 (https://arxiv.org/html/2605.12699#bib.bib18)]。此外,某些维度可能强调同质性交互(例如,具有共同兴趣的个体),而其他维度则反映异质性动态(例如,具有不同专业知识的个体之间的协作)。解决这些挑战对于推进节点分类等任务非常重要,因为利用同质性和异质性连接可以提高预测准确性。

为解决这些挑战,我们引入了 HAAM(异质性感知自适应复用模型),一种专门用于复用图节点分类的新框架(本文专注于具有同质节点的复用图,其中同一类型的节点通过多个维度连接,每个维度代表一种不同的关系类型。虽然复用图涉及多种类型的边,但这种设置与包含多种类型节点和边的异构图不同。其他图类型,如异构图或动态/时间演化图,超出了本研究的范围,有待进一步研究。)与主要关注同质性结构的现有方法不同,HAAM 明确地容纳了图维度上的同质性和异质性交互。更准确地说,HAAM 使用可学习的、维度特定的兼容性矩阵 [45 (https://arxiv.org/html/2605.12699#bib.bib73)] 来捕获不同维度上同质性和异质性的不同水平。此外,我们提出了可学习的低通和高通谱 Chebyshev 滤波器 [11 (https://arxiv.org/html/2605.12699#bib.bib83)] 的组合,以从节点交互中提取平滑(即低频同质性)和快速变化(即高频异质性)的信息。特别地,我们的框架利用一种数学推导的方法,通过它们在谱域中的 Chebyshev 插值的乘积来顺序应用两个滤波器。最后,提出的模型使用两个损失函数进行训练:传统的交叉熵损失,以及第二个最小化维度特定预测与共识预测之间差异同时促进共识预测稀疏性的损失。为了处理引起稀疏性的非平滑正则化,我们采用了近端梯度优化框架。

谱多项式滤波器已被证明能有效逼近各种谱滤波器 [42 (https://arxiv.org/html/2605.12699#bib.bib85)],使其适用于同质性和异质性图的谱图卷积。特别地,Chebyshev 多项式 [11 (https://arxiv.org/html/2605.12699#bib.bib83), 13 (https://arxiv.org/html/2605.12699#bib.bib84)] 因其强大的逼近能力而受到认可,这得益于 Chebyshev 基的性质以及最小化 Runge 现象的能力。与 GREET [22 (https://arxiv.org/html/2605.12699#bib.bib65)]、PolyGCL [9 (https://arxiv.org/html/2605.12699#bib.bib70)] 和 TFE-GNN [12 (https://arxiv.org/html/2605.12699#bib.bib89)] 都使用线性组合或拼接 Chebyshev 滤波器不同,我们的方法采用低通和高通滤波器的乘积。这种滤波器乘积的优势在于可以捕获低频和高频分量之间的非线性交互。此外,滤波器的乘积引入了更高阶的 Chebyshev 项(对于两个阶数为 \(K\) 的 Chebyshev 滤波器,最高可达 \(2K\) 阶),从而能够捕获低频和高频之间更复杂的交互。

**贡献:**

- **异质性感知自适应复用模型 (HAAM)。** 我们引入了一个原则性的框架用于复用图节点分类,该框架通过可学习的兼容性矩阵显式建模关系特定的同质性/异质性水平,并通过近端梯度公式(算法 1 (https://arxiv.org/html/2605.12699#alg1))将维度级预测协调成稀疏的共识标签分布。
- **乘积组合 Chebyshev 谱滤波。** 我们提出通过组合(矩阵乘积)而非线性混合来融合可学习的低通和高通 Chebyshev 滤波器,从而实现非线性的低/高频交互,并隐式引入最高 \(2K\) 阶的高阶项(第 4.2 节 (https://arxiv.org/html/2605.12699#S4.SS2))。我们在谱域中刻画了组合算子(命题 4.1 (https://arxiv.org/html/2605.12699#S4.Thmtheorem1) 和推论 4.2 (https://arxiv.org/html/2605.12699#S4.Thmtheorem2)),并推导了一种 Chebyshev 积化和差展开(命题 4.3 (https://arxiv.org/html/2605.12699#S4.Thmtheorem3)),避免了显式的 \(N \times N\) 矩阵乘积,从而实现了高效实现。
- **稳定性和泛化的理论保证。** 我们建立了 Chebyshev 基和多项式滤波器的有界输入有界输出稳定性界限,并将其扩展到乘积组合算子(命题 4.4 (https://arxiv.org/html/2605.12699#S4.Thmtheorem4)–4.5 (https://arxiv.org/html/2605.12699#S4.Thmtheorem5) 和推论 4.6 (https://arxiv.org/html/2605.12699#S4.Thmtheorem6))。此外,我们证明了逐行 softmax 是 Lipschitz 稳定的(命题 4.7 (https://arxiv.org/html/2605.12699#S4.Thmtheorem7)),并形式化了乘积融合引起的带状噪声衰减效应(命题 4.8 (https://arxiv.org/html/2605.12699#S4.Thmtheorem8))。最后,我们通过推论 4.6 (https://arxiv.org/html/2605.12699#S4.Thmtheorem6)(命题 4.9 (https://arxiv.org/html/2605.12699#S4.Thmtheorem9) 和定理 4.10 (https://arxiv.org/html/2605.12699#S4.Thmtheorem10);第 4.7 节 (https://arxiv.org/html/2605.12699#S4.SS7))提供了统计泛化界限,将泛化差距与算子范数 \(\|\hat{L}_d\|_2 \|H_d\|_2\) 以及学习的 Chebyshev 系数联系起来。
- **跨同质性体系的全面经验验证。** 我们在具有受控同质性比例的合成复用图和真实世界复用数据集上进行了大量实验。结果表明,HAAM 在性能上持续优于有竞争力的复用基线方法和改编的异质性感知单维方法(图 2 (https://arxiv.org/html/2605.12699#S5.F2) 和表 2 (https://arxiv.org/html/2605.12699#S5.T2))。消融研究和敏感性分析进一步验证了兼容性建模、近端共识和基于乘积的滤波的影响(表 3 (https://arxiv.org/html/2605.12699#S5.T3) 和图 6 (https://arxiv.org/html/2605.12699#S5.F6))。

## 2 相关工作

本节回顾现有的复用图建模方法以及单维图中处理异质性的进展。

### 2.1 复用图模型

许多为复用图设计的方法传统上专注于捕获同质性模式。DMGI [33 (https://arxiv.org/html/2605.12699#bib.bib43)] 通过共识正则化框架、双线性判别器以及互信息最大化机制 [15 (https://arxiv.org/html/2605.12699#bib.bib20)] 集成来自多种节点关系类型的嵌入,该机制将相似节点拉近,将不相似节点推开。HDMI [19 (https://arxiv.org/html/2605.12699#bib.bib42)] 在 DMGI 的对比损失基础上,增加了包含节点特征的高阶目标函数。X-GOAL [18 (https://arxiv.org/html/2605.12699#bib.bib49)] 进一步改进了对比损失,通过将拓扑相似的节点和同一聚类内的节点分别配成正对和负对。SSDCM [25 (https://arxiv.org/html/2605.12699#bib.bib48)] 引入了一种自监督框架来学习复用图中的节点表示。该模型利用基于聚类的图摘要,提高了节点嵌入的判别能力。由于所有这些方法都依赖于优化对比损失函数,它们本质上将拓扑接近的节点分组在一起,即基于同质性假设进行操作。

除了固定结构的对比目标,InfoMGF [36 (https://arxiv.org/html/2605.12699#bib.bib75)] 通过细化每个图视图以去除任务无关噪声,并通过最大化视图共享和视图唯一的任务相关信息来学习融合图,从而处理复用图可靠性问题。GATNE [8 (https://arxiv.org/html/2605.12699#bib.bib40)] 将节点嵌入分解为基嵌入、边嵌入和属性嵌入。使用自注意力机制将邻域信息整合到边嵌入中。类似地,mGCN [24 (https://arxiv.org/html/2605.12699#bib.bib41)] 使用两种类型的节点嵌入:一种捕获维内和跨维度交互,另一种考虑节点相对于整个图的嵌入。SSAMN [35 (https://arxiv.org/html/2605.12699#bib.bib88)] 结合了在半监督设置下使用少量标记节点学习的节点嵌入和类标签嵌入。HMGE [2 (https://arxiv.org/html/2605.12699#bib.bib3)] 通过层次编码图维度来嵌入高维复用图。该方法逐步构建隐藏的图维度,通过原始图结构的非线性组合捕获新类型的交互。DMG [27 (https://arxiv.org/html/2605.12699#bib.bib50)] 专注于捕获图维度之间的共同和互补信息。该方法利用解耦表示来区分共享和独特信息。在同一背景下,MGDCR [26 (https://arxiv.org/html/2605.12699#bib.bib51)] 最小化维度间和维度内编码之间的相关性。

尽管最近关于复用图的研究取得了显著进展,但对异质性的处理——即具有不同属性或类别的节点更有可能连接——仍然只被部分探索。这一方面可能限制充分捕获复杂系统中观察到的结构多样性的能力。本文旨在弥补这一不足。

相似文章

面向模态异质性下的鲁棒联邦多模态图学习

arXiv cs.LG

本文提出FedMPO,一种鲁棒的联邦多模态图学习方法,通过拓扑感知的跨模态生成、缺失感知的专家路由和可靠性感知的聚合来解决模态异质性和缺失模态问题,在多个数据集上实现了性能提升。

建模时空图异常检测中的频谱能量偏移

arXiv cs.LG

提出了一种节点级频谱能量公式,用于检测图中的伪装异常,并将其扩展到具有能量驱动消息传递的时空设置。在大规模基准测试上证明了其有效性。

图数据中差异化网络效应的处理效应估计

arXiv cs.LG

本文通过建模差异化网络效应解决了从图数据中估计个体处理效应的挑战,提出了一种包含部分注意力和信息放大器的机制,以捕捉邻居的不同重要性和规模。实验表明,该方法性能优于现有方法。

超图即语言

arXiv cs.CL

本文提出了Hyper-Align框架,通过HIDT-O和HIP将超图结构序列化为令牌,使大语言模型能够处理高阶关系,并引入了用于评估的HyperAlign-Bench。