可证明通信高效且隐私保护的联邦图神经网络

# 可证明的通信高效且隐私保护的联邦图神经网络
来源：https://arxiv.org/html/2605.26243
\nameZhishuai Guo\\emailzguo@niu\.edu \\addr北伊利诺伊大学 \\nameWenhan Wu\\emailwwu25@charlotte\.edu \\addr北卡罗来纳大学夏洛特分校 \\nameChen Chen\\emailchen\.chen@crcv\.ucf\.edu \\addr中佛罗里达大学 \\nameLei Zhang\\emailzhanglei@niu\.edu \\addr北伊利诺伊大学 \\nameOlivera Kotevska\\emailkotevskao@ornl\.gov \\addr橡树岭国家实验室 \\nameRavi K Madduri\\emailmadduri@anl\.gov \\addr阿贡国家实验室Zhishuai Guo 计算机科学系 北伊利诺伊大学 zguo@niu\.edu &Wenhan Wu 计算机科学系 北卡罗来纳大学夏洛特分校 wwu25@charlotte\.edu &Chen Chen 计算机科学系 中佛罗里达大学 chen\.chen@crcv\.ucf\.edu &Lei Zhang 计算机科学系 北伊利诺伊大学 zhanglei@niu\.edu &Olivera Kotevska 计算机科学与数学部 橡树岭国家实验室 kotevskao@ornl\.gov &Ravi K Madduri 数据科学与学习部 阿贡国家实验室 madduri@anl\.gov

###### 摘要

图神经网络 \(GNNs\) 在关系数据上取得了强劲的性能，但现实世界的图通常分布在多个组织之间，这些组织由于隐私和政策限制无法共享原始数据。现有的联邦 GNN 方法要么忽略跨客户端边，导致准确率下降，要么需要频繁交换嵌入，从而产生大量的通信和隐私成本。我们提出了 CE-FedGNN，一个针对在此类耦合图上学习的、通信高效且隐私保护的联邦 GNN 框架。我们的方法通过非频繁地交换聚合的节点表示来避免共享原始数据或每轮嵌入。为了处理跨客户端依赖性和陈旧性问题，我们引入了一个移动平均估计器，它持续跟踪节点表示，并使得它们能够在多轮中稳定重用。为了为发布的表示提供正式的隐私保证，我们采用了度量差分隐私 (metric-DP) 框架，该框架根据学习到的嵌入空间中的距离（而非最坏情况的输入扰动）来衡量隐私。这可在标准差分隐私过于保守的噪声水平下提供有意义的保证。我们建立了以 O\(1/T\)O\(1/\\sqrt\{T\}\) 的速率收敛到平稳点，通信复杂度为 O\(T^{3/4}\)。此外，我们通过 Rényi 差分隐私组合，在公共群体威胁模型下推导出 \(ε,δ\) \(\varepsilon,\delta\)-metric-DP 保证。在合成银行间反洗钱基准测试和引文网络上的实验表明，CE-FedGNN 在显著减少通信的同时实现了强劲的性能，并在隐私保护噪声下保持了鲁棒性。

## 1 引言

GNNs 已成为从关系数据中学习的主流范式，应用于社交网络分析、交通预测、网络安全和金融欺诈检测等领域 [67 (https://arxiv.org/html/2605.26243#bib.bib67), 19 (https://arxiv.org/html/2605.26243#bib.bib19), 51 (https://arxiv.org/html/2605.26243#bib.bib51), 24 (https://arxiv.org/html/2605.26243#bib.bib24)]。通过在图结构上传递消息，GNNs 能够捕捉传统模型难以表示的关系模式。然而，大多数现有的 GNN 方法假设可以集中访问单一的、统一的图，这个假设在实践中常常被违反。在许多现实场景中，图数据分布在同一个组织或多个组织内地理和行政上分离的位置，使得由于隐私法规（例如 GDPR、CCPA）、安全策略和操作限制，原始数据聚合变得不切实际。例如，在反洗钱检测中，每个金融机构只观察到全球交易网络的一个局部子图，这不足以检测全局模式 (图 1 (https://arxiv.org/html/2605.26243#S1.F1)\(a\))。

参见标题 (a) FedGNN 中的挑战图示：任何一个客户端单独都无法看到的循环。
参见标题 (b) 当边 \(v, u_{2}\) 在客户端 a 上被采样时，它使用最近从 b 共享的节点 u_{2} 的嵌入。

图 1：FedGNN 中的挑战及我们的算法设计图示。FL 提供了一个在不集中数据的情况下进行协作模型训练的自然框架。然而，诸如 FedAvg [45 (https://arxiv.org/html/2605.26243#bib.bib45), 52 (https://arxiv.org/html/2605.26243#bib.bib52)] 等标准 FL 方法是为具有独立本地数据集的设置设计的，其中全局目标分解为客户端特定损失的平均值。图结构数据从根本上违反了这一假设：边可能连接属于不同客户端的节点。因此，作为核心 GNN 操作的邻域聚合依赖于本地不可用的信息。忽略跨客户端边会产生不完整且有偏差的表示，而天真地在每次迭代中交换节点嵌入则会带来过高的通信开销。GNN 的多层组合结构进一步加剧了这些困难。

现有的联邦 GNN 方法面临着建模精度和通信效率之间的基本权衡：它们要么忽略跨客户端边从而丢失全局结构，要么在每次迭代中交换嵌入产生过高的开销，要么以无法适应表示漂移的方式非频繁地共享嵌入 [34 (https://arxiv.org/html/2605.26243#bib.bib34), 36 (https://arxiv.org/html/2605.26243#bib.bib36), 79 (https://arxiv.org/html/2605.26243#bib.bib79), 84 (https://arxiv.org/html/2605.26243#bib.bib84), 59 (https://arxiv.org/html/2605.26243#bib.bib59), 91 (https://arxiv.org/html/2605.26243#bib.bib91)]。这些方法都无法同时实现准确的跨客户端建模、低通信成本和可扩展性。

隐私考虑使问题更加复杂。尽管 FL 避免了原始数据共享，但交换的嵌入仍然可能泄露敏感信息 [21 (https://arxiv.org/html/2605.26243#bib.bib21), 48 (https://arxiv.org/html/2605.26243#bib.bib48), 93 (https://arxiv.org/html/2605.26243#bib.bib93), 92 (https://arxiv.org/html/2605.26243#bib.bib92)]，这促使我们添加校准噪声。虽然最近的工作为集中式 GNN 训练提供了差分隐私 (DP) 保证 [16 (https://arxiv.org/html/2605.26243#bib.bib16), 60 (https://arxiv.org/html/2605.26243#bib.bib60)]，但这些方法保护的是发布的模型，并未解决联邦训练过程中交换的逐节点嵌入发布问题。对于嵌入发布，最坏情况下的 L_{2} 灵敏度是嵌入球直径，这使得标准 DP 在实际噪声水平下毫无意义。

为了共同应对这些挑战，我们提出了一个通信高效且隐私保护的联邦 GNN 框架。我们的方法显式地对跨客户端图耦合进行建模，同时非频繁地交换聚合的节点嵌入，并采用度量-DP 框架 [14 (https://arxiv.org/html/2605.26243#bib.bib14)]，根据训练好的嵌入空间上的 L_{2} 距离（而非最坏情况的输入邻接）来表征隐私。这在中等的噪声水平下提供了有意义的保证，而标准 DP 在这些情况下会给出空洞的界限。我们提供了收敛性和隐私性的形式化分析。

我们的贡献总结如下。

- • **用于联邦 GNN 的分解框架。** 我们提出了一个定制的分解框架，该框架维护节点嵌入的移动平均估计器，以减少小批量训练中的方差和偏差。关键的是，该机制仅应用于节点——而非边——这在实际中非常重要，因为边的数量可能远远超过节点的数量。当一个邻居属于另一个客户端时，我们重用其最近共享的移动平均嵌入 (图 1 (https://arxiv.org/html/2605.26243#S1.F1)\(b\))，并在我们的分析中明确考虑由此产生的延迟误差。这种设计将跨客户端交互限制为一跳邻居，并消除了多跳跨客户端采样。通过 T 次迭代，我们的方法以 O\(1/\sqrt{T}\) 的速率收敛到平稳点，同时仅需要 O\(T^{3/4}\) 轮通信。
- • **联邦 GNN 嵌入发布的度量-DP 保证。** 我们采用度量-DP 框架来正式保护发布的节点嵌入，将高斯噪声校准到训练好的嵌入空间上的 L_{2} 距离。我们通过 Rényi DP 提供了跨通信轮的 \(ε,δ\) \(\varepsilon,\delta\)-度量-DP 组合保证，并考虑了联邦 GNN 协议中的公共群体威胁模型，其中子采样放缩不适用。据我们所知，这是度量-DP 首次被应用于联邦 GNN 训练。我们还分析了注入噪声对收敛动态的影响，显示了优化质量的优雅退化。
- • **实证评估。** 我们在合成反洗钱基准测试和现实世界引文网络上进行了大量实验。CE-FedGNN 在使用更少通信轮数的同时，持续优于联邦 GNN 基线方法，并且在转化为有意义的度量-DP 保证的噪声水平下保持了强大的实用性。

## 2 相关工作

**图神经网络。** 许多现实世界问题涉及通过复杂关系结构连接的实体，这些结构无法在欧几里得空间中自然表示。GNNs 提供了一个原则性框架，通过在图拓扑上传播和聚合信息来学习此类数据，在包括社交网络 [6 (https://arxiv.org/html/2605.26243#bib.bib6), 35 (https://arxiv.org/html/2605.26243#bib.bib35)]、交通系统 [19 (https://arxiv.org/html/2605.26243#bib.bib19), 94 (https://arxiv.org/html/2605.26243#bib.bib94)]、物理模拟 [61 (https://arxiv.org/html/2605.26243#bib.bib61), 38 (https://arxiv.org/html/2605.26243#bib.bib38)]、生物和分子建模 [11 (https://arxiv.org/html/2605.26243#bib.bib11)]、组合优化 [22 (https://arxiv.org/html/2605.26243#bib.bib22), 8 (https://arxiv.org/html/2605.26243#bib.bib8)] 以及金融欺诈检测 [24 (https://arxiv.org/html/2605.26243#bib.bib24), 49 (https://arxiv.org/html/2605.26243#bib.bib49)] 等领域取得了强劲的实证表现。关于 GNN 架构最新进展的更广泛概述见附录 A (https://arxiv.org/html/2605.26243#A1)。

**通信高效的联邦学习。** 通信效率是 FL 中的一个核心挑战。大量研究工作在假设全局目标分解为独立客户端损失平均值的情况下研究这个问题，从而产生了基于周期性平均、方差减少或本地更新的通信高效算法 [45 (https://arxiv.org/html/2605.26243#bib.bib45), 52 (https://arxiv.org/html/2605.26243#bib.bib52), 68 (https://arxiv.org/html/2605.26243#bib.bib68), 87 (https://arxiv.org/html/2605.26243#bib.bib87), 88 (https://arxiv.org/html/2605.26243#bib.bib88), 83 (https://arxiv.org/html/2605.26243#bib.bib83), 42 (https://arxiv.org/html/2605.26243#bib.bib42), 40 (https://arxiv.org/html/2605.26243#bib.bib40), 43 (https://arxiv.org/html/2605.26243#bib.bib43), 77 (https://arxiv.org/html/2605.26243#bib.bib77), 76 (https://arxiv.org/html/2605.26243#bib.bib76), 31 (https://arxiv.org/html/2605.26243#bib.bib31), 17 (https://arxiv.org/html/2605.26243#bib.bib17), 18 (https://arxiv.org/html/2605.26243#bib.bib18), 50 (https://arxiv.org/html/2605.26243#bib.bib50), 65 (https://arxiv.org/html/2605.26243#bib.bib65), 47 (https://arxiv.org/html/2605.26243#bib.bib47), 37 (https://arxiv.org/html/2605.26243#bib.bib37), 69 (https://arxiv.org/html/2605.26243#bib.bib69)]。然而，这些方法不能直接适用于具有*耦合目标*（客户端数据相互依赖）的设置。一些工作处理特定的耦合结构：Yuan 等人 [89 (https://arxiv.org/html/2605.26243#bib.bib89)], Guo 等人 [29 (https://arxiv.org/html/2605.26243#bib.bib29)] 通过极小极大重新表述研究联邦 AUC 最大化，而 Gao 等人 [28 (https://arxiv.org/html/2605.26243#bib.bib28)] 分析了没有跨客户端数据依赖的组合目标。Guo 等人 [30 (https://arxiv.org/html/2605.26243#bib.bib30)] 通过主动-被动梯度分解为一般的成对目标提出了一个通信高效的框架，但该方法不能推广到具有节点表示和模型参数之间多层组合依赖的联邦 GNNs。总的来说，现有方法要么依赖于特定问题的重新表述，要么依赖于启发式设计，并且没有为耦合的图结构目标提供收敛保证 [33 (https://arxiv.org/html/2605.26243#bib.bib33), 90 (https://arxiv.org/html/2605.26243#bib.bib90), 79 (https://arxiv.org/html/2605.26243#bib.bib79), 46 (https://arxiv.org/html/2605.26243#bib.bib46)]。

**联邦图神经网络。** 由于边可能跨越多个客户端，联邦 GNNs 引入了额外的挑战。现有方法要么忽略此类边以简化训练 [20 (https://arxiv.org/html/2605.26243#bib.bib20), 58 (https://arxiv.org/html/2605.26243#bib.bib58), 63 (https://arxiv.org/html/2605.26243#bib.bib63), 34 (https://arxiv.org/html/2605.26243#bib.bib34), 7 (https://arxiv.org/html/2605.26243#bib.bib7)]，要么通过在每次迭代中交换节点嵌入来显式建模 [79 (https://arxiv.org/html/2605.26243#bib.bib79), 78 (https://arxiv.org/html/2605.26243#bib.bib78)]。一些中间方法试图减少通信：Yao 等人 [84 (https://arxiv.org/html/2605.26243#bib.bib84)] 仅在初始化时共享嵌入，Qiu 等人 [59 (https://arxiv.org/html/2605.26243#bib.bib59)] 不频繁地利用全局图，Zhang 等人 [91 (https://arxiv.org/html/2605.26243#bib.bib91)] 在本地生成缺失节点。然而，这些方法常常无法适应表示漂移，掩盖全局结构模式，或者依赖于限制可扩展性的复杂程序。Aliakbari 等人 [2 (https://arxiv.org/html/2605.26243#bib.bib2)] 通过谱方法共享全局连通性，但需要昂贵的矩阵分解并假设图是静态的，从而限制了在动态设置中的适用性。

**FL 和 GNN 中的隐私。** 尽管 FL 避免了直接共享原始数据，但通过交换模型参数、梯度或中间表示仍存在隐私风险 [95 (https://arxiv.org/html/2605.26243#bib.bib95), 21 (https://arxiv.org/html/2605.26243#bib.bib21)]。一种常见的缓解措施是在差分隐私 (DP) 框架下注入随机扰动 [23 (https://arxiv.org/html/2605.26243#bib.bib23), 95 (https://arxiv.org/html/2605.26243#bib.bib95), 1 (https://arxiv.org/html/2605.26243#bib.bib1), 53 (https://arxiv.org/html/2605.26243#bib.bib53), 70 (https://arxiv.org/html/2605.26243#bib.bib70), 75 (https://arxiv.org/html/2605.26243#bib.bib75)]。虽然 DP 在标准 FL 设置中已被广泛研究，但大多数联邦 GNN 方法并未明确考虑交换中间表示带来的隐私风险。尽管聚合嵌入通常被认为比原始特征敏感性低 [84 (https://arxiv.org/html/2605.26243#bib.bib84)]，但中间 GNN 嵌入仍然可能泄露信息 [21 (https://arxiv.org/html/2605.26243#bib.bib21), 48 (https://arxiv.org/html/2605.26243#bib.bib48), 93 (https://arxiv.org/html/2605.26243#bib.bib93)]。