从欧几里得到图结构数据：协作学习综述

# 从欧几里得数据到图结构数据：协同学习综述
来源：https://arxiv.org/html/2609.02984
Rémi Bourgerieremibo@kth\.se
所属机构：电气工程与计算机科学学院，数字未来研究所
所属机构：KTH皇家理工学院
所属机构：瑞典斯德哥尔摩
Šarūnas Girdzijauskassarunasg@kth\.se
所属机构：电气工程与计算机科学学院，数字未来研究所
所属机构：KTH皇家理工学院
所属机构：瑞典斯德哥尔摩
Viktoria Fodorvfodor@kth\.se
所属机构：电气工程与计算机科学学院，数字未来研究所
所属机构：KTH皇家理工学院
所属机构：瑞典斯德哥尔摩

###### 摘要
传统的机器学习方法——即在单一地点收集数据、训练模型并执行推理——面临着可扩展性和隐私保护等根本性限制，这些限制制约了其应用范围。为解决这些挑战，近期研究探索了**协同学习**方法，包括**联邦学习**和**去中心化学习**，其中各独立代理在本地执行训练和推理，仅进行有限的协作。大多数协同学习研究集中于具有规则网格状结构的欧几里得数据（例如图像、文本）。然而，这些方法无法捕捉许多实际应用中的关联模式，而这些模式最适合用图来表示。图上的学习依赖于消息传递机制在相连节点间传播信息，从概念上非常适合需要信息交换的协作环境。然而，图结构数据在协同设置中的机遇与挑战在很大程度上尚未得到充分探索。本综述对从欧几里得数据到图结构数据的协同学习进行了全面研究，旨在整合这一新兴领域。我们首先回顾了其在欧几里得数据上的基础原理，并从三个核心维度进行组织：学习有效性、效率与隐私保护。随后，我们将讨论扩展至图结构数据，引入图分布场景的分类法，表征相关的统计异质性，并开发标准化的问题表述与算法框架。最后，我们系统性地识别了开放挑战与有前景的研究方向。通过连接欧几里得数据的成熟技术与图学习的新兴方法，本综述为研究人员与实践者提供了结构清晰的协同学习知识基础，支持其在广泛的科学与工业领域的进一步发展。相关资源可在 https://github.com/remibourgerie/collaborative_gnns 获取。

## 1 引言
过去十年间，深度学习取得了巨大成功，这主要得益于四个因素的结合\(Goodfellow et al., 2016 (https://arxiv.org/html/2609.02984#bib.bib241)\)：(i) 作为**通用函数逼近器**的神经网络\(Rosenblatt, 1958 (https://arxiv.org/html/2609.02984#bib.bib296); Rumelhart et al., 1986 (https://arxiv.org/html/2609.02984#bib.bib26)\)；(ii) **样本高效**的训练算法\(Bottou, 2010 (https://arxiv.org/html/2609.02984#bib.bib21)\)；(iii) 与硬件架构适配的**并行化方案**\(Hooker, 2021 (https://arxiv.org/html/2609.02984#bib.bib293)\)；以及 (iv) **海量**高质量数据的可用性。虽然前三个因素已随时间得到巩固，但第四个要求——获取海量数据集——仍然是一个主要障碍。事实上，当今的数据生态系统仍然高度碎片化，受限于隐私立法\(European Union, 2016 (https://arxiv.org/html/2609.02984#bib.bib144)\)、数据所有权顾虑、集成复杂性以及多代理系统固有的协调困难。对于大语言模型，通过扩展**公共网络数据**部分解决了数据访问问题\(Naveed et al., 2023 (https://arxiv.org/html/2609.02984#bib.bib407); Baack, 2024 (https://arxiv.org/html/2609.02984#bib.bib304)\)，但根本挑战依然存在：缺乏跨组织和技术边界收集、对齐和利用数据的机制。

协同学习通常被纳入**联邦**或**去中心化学习**的范畴，它提供了一个框架来应对这一挑战，允许多个代理直接在其私有数据集上训练共享模型。在此框架中，代理之间仅交换模型更新或聚合信息，而非整个数据集，从而大幅减少了通信数据量。此外，通过将数据保留在数据源处，该框架有望实现隐私保护。
参见图注：图1：从欧几里得数据到图数据的协同学习。协同学习指的是一个代理系统，在其本地私有数据上集体训练和推理机器学习模型。协同学习已在欧几里得数据(a)上得到广泛研究，涉及视觉、语言、时序序列和测量数据等极受欢迎的领域。相反，图数据上的协同学习(b)是一个新兴领域。图是具有关系结构的数据的经典表示，出现于人类行为、物理系统、化学和信息系统等领域。与**集中式学习**相比，协同学习具有三个主要优势：能够在分布式数据集上进行训练和推理、通信高效性，以及有望保护代理数据的隐私。图数据上的协同学习与**消息传递神经网络**天然契合。
根据数据结构，协同学习解决方案可分为两类：**欧几里得数据**，呈现规则的网格状结构（例如图像为二维网格，文本为一维序列）；以及**非欧几里得数据**，其关系由图等不规则结构定义\(Bronstein et al., 2021 (https://arxiv.org/html/2609.02984#bib.bib406)\)，如图1所示。

对于欧几里得数据，典型用例包括涉及大量代理的跨设备场景，每个代理拥有有限的数据，不足以独立生成精确模型。这些代理可能包括移动电话\(Xu et al., 2023 (https://arxiv.org/html/2609.02984#bib.bib38)\)、自动驾驶车辆\(Hellström et al., 2022 (https://arxiv.org/html/2609.02984#bib.bib143)\)、移动基站\(Zhang et al., 2022c (https://arxiv.org/html/2609.02984#bib.bib13)\)或物联网设备\(Zhou et al., 2023 (https://arxiv.org/html/2609.02984#bib.bib166)\)。跨孤岛应用涉及不同实体持有的大型数据集，这些实体不能共享数据以保护隐私，这在医疗保健和金融领域很常见\(Li et al., 2020a (https://arxiv.org/html/2609.02984#bib.bib332)\)。协作通常涉及在训练期间交换和聚合模型参数，而推理通常由单个代理在本地执行。

对于图结构数据，出现了两种不同的场景。第一个场景是在大量独立图实例上进行学习，这在计算生物学（例如预测分子性质）中很典型\(He et al., 2022a (https://arxiv.org/html/2609.02984#bib.bib250)\)，涉及使用概念上类似于欧几里得数据的工具学习基于图的模型（例如GNN）的参数，因为每个图实例都可以被视为一个单独的数据样本。第二个场景是当代理持有**共享全局图**的一部分时出现的，此时推理和学习都需要代理之间的信息交换，因为图拓扑结构编码了跨越代理边界的关键关系。应用包括物联网系统中的协同自主代理\(Liu et al., 2025b (https://arxiv.org/html/2609.02984#bib.bib318)\)、自动驾驶车辆\(Blumenkamp et al., 2022 (https://arxiv.org/html/2609.02984#bib.bib264); Pan et al., 2023 (https://arxiv.org/html/2609.02984#bib.bib213)\)，以及在大规模社交网络或推荐系统图上的隐私保护学习\(He et al., 2021a (https://arxiv.org/html/2609.02984#bib.bib14); Dong et al., 2023 (https://arxiv.org/html/2609.02984#bib.bib367); Agrawal et al., 2024 (https://arxiv.org/html/2609.02984#bib.bib217); Han et al., 2024 (https://arxiv.org/html/2609.02984#bib.bib195)\)。

尽管这些多样化的应用展示了广泛的潜力，但它们的实施带来了重大挑战，这些挑战在欧几里得和非欧几里得设置中存在根本性差异。现代机器学习主要依赖**迭代优化算法**\(Bottou et al., 2018 (https://arxiv.org/html/2609.02984#bib.bib23)\)，这些算法长期以来对分布式系统构成困难\(Bertsekas, 2011 (https://arxiv.org/html/2609.02984#bib.bib110); Ram et al., 2009b (https://arxiv.org/html/2609.02984#bib.bib111); Low et al., 2010 (https://arxiv.org/html/2609.02984#bib.bib99); Xing et al., 2016 (https://arxiv.org/html/2609.02984#bib.bib88)\)。这些挑战在协同学习中由于需要通信的模型规模巨大以及固有的系统差异而加剧，推动了系统架构和算法设计的活跃研究\(Kairouz et al., 2021b (https://arxiv.org/html/2609.02984#bib.bib18); Daly et al., 2024 (https://arxiv.org/html/2609.02984#bib.bib75)\)。

对于图结构数据，挑战因数据的非欧几里得特性而进一步放大。图拓扑通常由**消息传递神经网络**捕获\(Gilmer et al., 2017 (https://arxiv.org/html/2609.02984#bib.bib3); Hamilton et al., 2017b (https://arxiv.org/html/2609.02984#bib.bib392)\)，其中节点与邻居迭代地交换和聚合消息。这些MPNN本质上是分布式迭代算法，这使它们在概念上非常适合协同设置。然而，当每个代理持有共享全局图的一个分区且无法自由共享数据时，信息需要通过图拓扑传播的要求带来了超越欧几里得设置的新挑战，导致研究领域的快速扩展。

### 1.1 本综述的目标及相关工作
参见图注：图2：图数据上的协同学习及其三大支柱。图数据上的协同学习依赖于三个不同的支柱：网络上的扩散算法、图表示学习和协同学习。
虽然现有综述已广泛涵盖了欧几里得数据上的**联邦学习**，并且在较小程度上涉及图数据，但没有系统性地分析它们的交叉点。本综述填补了这一空白，提供了统一的视角，将协同学习从欧几里得到图结构数据的设计空间映射出来。我们概述了不同方法之间的关联，并指出了对于理解尚浅的图情况仍未解决的研究挑战。至关重要的是，虽然欧几里得数据的方法已经成熟，但图结构数据引入了独特的复杂性，需要借鉴多个领域的知识。图数据的协同学习建立在三个基础支柱之上，借鉴了不同的研究领域，如图2所示：

- **•网络上的扩散算法**是通过局部消息传递计算节点级或网络级函数的分布式迭代方法。这些方法最初是为网络化系统（例如多智能体系统、传感器网络）中的分布式决策问题开发的\(Tsitsiklis et al., 1986 (https://arxiv.org/html/2609.02984#bib.bib31); Olfati-Saber et al., 2007 (https://arxiv.org/html/2609.02984#bib.bib9)\)，后来通过密切相关的随机游走过程被采纳用于大规模网络分析和学习（例如图上的排序、推荐、半监督推理）\(Zhou et al., 2003 (https://arxiv.org/html/2609.02984#bib.bib11)\)。
- **•图表示学习**采用深度神经架构从图结构数据中学习表示\(Kipf and Welling, 2017 (https://arxiv.org/html/2609.02984#bib.bib390)\)。关系结构是内在属性的应用（例如社交网络、分子建模、基础设施系统）推动了这一领域的发展，它兴起于图信号处理与机器学习的交叉点\(Bruna et al., 2013 (https://arxiv.org/html/2609.02984#bib.bib432)\)。
- **•协同学习**，例如**联邦学习**\(McMahan et al., 2017 (https://arxiv.org/html/2609.02984#bib.bib335)\)，允许通过集中式或去中心化方法在私有分布式数据集上进行训练和推理。协同学习的动机源于两个关键实际场景：敏感数据不能在实体之间共享（医疗、金融、用户数据）以及由于通信限制无法收集原生分布式数据（机器人、物联网）。支撑学科涵盖机器学习、分布式优化、信息论和通信系统。
- **•图数据上的协同学习**\(Zhang et al., 2021d (https://arxiv.org/html/2609.02984#bib.bib180)\)研究在私有分布式图结构数据上进行学习。它与上述三个领域相交，结合了网络扩散算法的消息传递原理、图表示学习的神经架构以及协同学习的分布式优化框架。

本综述连接了这三个领域，以研究现有成果如何加速新兴领域和新颖应用的研究。表1展示了这些支柱中的代表性综述和基础论文，提供了为保持焦点而必然省略的详细信息。该表还包括关于大数据并行处理的工作，该领域与协同学习有部分重叠。为了限制本综述的范围，我们专注于监督学习。感兴趣的读者可以在以下文献中找到协同无监督和自监督学习的参考：\(Uludag et al., 2025 (https://arxiv.org/html/2609.02984#bib.bib456); Zhang et al., 2025 (https://arxiv.org/html/2609.02984#bib.bib457); Ji et al., 2024 (https://arxiv.org/html/2609.02984#bib.bib455)\)；多智能体强化学习：\(Gronauer and Diepold, 2022 (https://arxiv.org/html/2609.02984#bib.bib329); Chen et al., 2025 (https://arxiv.org/html/2609.02984#bib.bib317)\)；以及图结构数据上的强化学习：\(Nie et al., 2023 (https://arxiv.org/html/2609.02984#bib.bib458); Liu et al., 2024c (https://arxiv.org/html/2609.02984#bib.bib459)\)。

| 主题 | 代表性工作 |
| :--- | :--- |
| **网络上的扩散算法** | 分布式平均与一致性 \(Bertsekas and Tsitsiklis, 2015 (https://arxiv.org/html/2609.02984#bib.bib373); Olfati-Saber et al., 2007 (https://arxiv.org/html/2609.02984#bib.bib9)\) \(Yang et al., 2019c (https://arxiv.org/html/2609.02984#bib.bib438)\) |
| | 标签传播 \(Zhou et al., 2003 (https://arxiv.org/html/2609.02984#bib.bib11)\) |
| **图表示学习** | 图神经架构 \(Kipf and Welling, 2017 (https://arxiv.org/html/2609.02984#bib.bib390)\) \(Wu et al., 2020b (https://arxiv.org/html/2609.02984#bib.bib27)\) |
| | 图基础模型 \(Wang et al., 2025b (https://arxiv.org/html/2609.02984#bib.bib285)\) |
| **欧几里得数据上的协同学习** | 联邦学习 \(McMahan et al., 2017 (https://arxiv.org/html/2609.02984#bib.bib335)\) \(Kairouz et al., 2021b (https://arxiv.org/html/2609.02984#bib.bib18)\), |