联邦图学习中的广义类别发现

# 联邦图学习中的广义类别发现

来源：https://arxiv.org/html/2605.08178
\\credit

概念化，方法论，软件，数据整理，调查，形式分析，写作 – 初稿

\\credit

软件，写作 – 审查与编辑

\\credit

方法论，可视化，监督，写作 – 审查与编辑

\\cormark

\[1\]\\credit监督

\\cormark

\[1\]\\credit监督

Lianshuai Guogoluis\.cc@gmail\.comXunkai Lics\.xunkai\.li@gmail\.comWenyu Wanghochi@sdu\.edu\.cnMeixia Qumxqu@sdu\.edu\.cn山东大学航空航天科学与工程学院，中国威海 264209，北京理工大学计算机科学与技术学院，中国北京 100081

###### 摘要

联邦图学习（FGL）能够在分布式图数据上进行协同学习，然而现有的方法主要依赖于封闭世界假设，这限制了它们在动态环境中的适用性，因为在这些环境中新类别不断涌现。为了弥补这一差距，我们针对联邦图广义类别发现（FGGCD）的实际场景，旨在在保留已知类别知识的同时，跨去中心化图客户端协同发现新类别。我们观察到，FGGCD 引入了两个基本挑战：（1）邻域吸收效应，即结构碎片化导致有偏的邻域聚合，致使新节点被错误分类为已知类别；以及（2）全局语义不一致，即上述局部偏差传播到服务器端，并因异构子图分布而被放大，阻碍了跨客户端的知识整合。为了解决这些问题，我们提出了 GCD-FGL，这是一种用于广义类别发现（GCD）的 FGL 框架，它集成了客户端的拓扑可靠语义对齐与发现过程以缓解邻域吸收效应，以及服务端的层次原型对齐策略以解决全局语义不一致。在五个真实世界图数据集上的大量实验表明，GCD-FGL 始终优于最先进（SOTA）的基线方法，在 HRScore 上实现了平均绝对增益 +4.86。

###### 关键词：

联邦图学习\\sep广义类别发现\\sep开放世界学习\\sep非独立同分布（Non-IID）数据

## 1 引言

图神经网络（GNNs）jiang2019semi已成为建模关系数据的标准方法，推动了包括社交网络guo2020deep、推荐系统yu2022graph;he2023simplifying以及医疗保健liu2022graphcdr;wang2023gadrp在内的多个领域的重大进步。然而，在许多实际场景中，图数据自然地分布在多个分布式数据所有者之间，这种设置在金融和推荐系统等应用中广泛存在。由于严格的隐私法规，这些数据孤岛不能直接集中。联邦图学习（FGL）ZZWLWWLWZ22在这种保护隐私的约束下，为协同训练图模型提供了一种可行的范式。

尽管 FGL 取得了显著成功，但现有的范式主要依赖于封闭世界假设。这假设训练期间遇到的标签空间与推理期间相同。然而，在许多现实世界的应用中，模型被部署在高度动态的开放世界场景中，新类别会随着时间的推移不断出现。封闭世界训练与开放世界现实之间的这一根本差距，限制了现有 FGL 模型对野外未见类别的适应能力。

参见图注Figure 1: Cora 数据集上全局图与隔离子图下的邻域吸收效应。属于新类别的孤立节点（y 轴）表现出对已知类别（x 轴）的严重过度自信误分类。

为了迈向弥补这一差距，广义类别发现（GCD）vaze2022generalized已被提出作为开放世界学习的关键组成部分。给定一个来自混合标签空间$Y_{known} \cup Y_{novel}$的无标签数据集，GCD 旨在同时分类已知类别并发现新类别，利用仅定义在$Y_{known}$上的有标签数据集的知识。与分布外（OOD）检测hendrycks2017baseline（仅拒绝不熟悉样本）或新颖类别发现（NCD）han2019learning（假设所有无标签数据都属于$Y_{novel}$）不同，GCD 在一个更加现实和具有挑战性的开放世界设置下运行。它要求模型精确区分已知类别和新类别，同时将未知样本聚类成有意义的语义类别。

最近，人们努力将 GCD 扩展到复杂的数据结构。例如，图广义类别发现（GGCD）deng2025towards已出现以解决图数据上的类别发现问题，假设存在一个整体图，而联邦 GCD pu2024federated已在联邦学习中被探索，但仅限于图像数据。然而，GCD 和 FGL 的交叉领域在很大程度上仍未被探索。联邦图广义类别发现（FGGCD）旨在跨分布式图孤岛协同发现新类别。然而，简单地将现有的 GGCD 方法应用于联邦环境并不能有效工作。具体而言，将 GGCD 扩展到联邦设置面临两个主要挑战：

**挑战 1：结构截断与邻域吸收效应。**将 GCD 应用于联邦环境引入了一个基本冲突：GCD 需要整体数据分布来发现新集群，而联邦设置在物理上隔离了图zhang2023federated。对于一个新类别节点$v$（$y_v \in Y_{novel}$），这种结构截断剥夺了其足够的类内支持。因此，其局部观察通常由已知类别的邻居主导。在 GNN 消息传递过程中，学习到的表示$h_v$偏向于这些已知类别的信号。这种以**邻域吸收**效应为特征的代表性崩溃，导致了结构语义稀释：$P(h_v \mid y_v \in Y_{novel}) \to P(h_v \mid y_v \in Y_{known})$。为了经验性地验证这一点，我们在 Cora 数据集上进行了动机研究（参见图 1 (https://arxiv.org/html/2605.08178#S1.F1)），比较了在完整全局图与隔离子图上训练的表示。我们观察到，结构截断导致新节点被吸收并误分类为已知类别的比例增加。这种吸收破坏了 GCD 探索所必需的结构语义，对可靠的新集群发现构成了障碍。为此，我们在第 3.2 节 (https://arxiv.org/html/2605.08178#S3.SS2) 中详细设计了一个客户端的拓扑感知图对比流模块。

**挑战 2：由局部崩溃传播的全局语义不一致。**上述局部代表性崩溃传播到服务器，驱动并放大了全局层面的语义不一致。联邦图固有地表现出非独立同分布（Non-IID）特性li2024fedgta;zhu2024fedta，这是由同质性假设驱动的，即具有相似标签的节点集中在特定客户端中。当新节点的局部表示因其特定的、有偏的局部已知类别邻居（挑战 1）而失真时，结果导致的局部语义空间变得很大程度上具有客户端特异性。由于新类别缺乏显式监督并在本地客户端上进行动态探索，这种局部表示偏移与图诱导的标签偏斜之间的相互作用意味着不同客户端形成的新集群往往具有不同的语义含义。因此，在服务器端准确地匹配和对齐这些隔离的新集群变得具有挑战性。在 FGGCD 场景中，当全局类别总数未知时，这一挑战更加严峻。如果没有机制来协调这些未对齐的局部语义空间，框架容易陷入全局语义不一致。在我们的 GCD-FGL 框架中，我们通过服务端的层次原型对齐策略解决了这种错位，如第 3.3 节 (https://arxiv.org/html/2605.08178#S3.SS3) 所述。

为了解决这些挑战，我们提出了 GCD-FGL，这是一个专为 FGGCD 定制的联邦框架。具体而言，为了解决客户端侧的挑战 1，我们引入了一种由拓扑可靠性引导（TRG）机制指导的拓扑可靠语义对齐与发现过程。这种集成有效地校准了孤立节点表示，缓解了由结构截断子图引起的局部代表性偏差和邻域吸收效应。为了解决服务器侧的挑战 2，我们耦合了层次原型对齐策略。该架构协调了全局语义空间，有效解决了由高度异构标签空间中的局部代表性崩溃传播引起的全局语义不一致。

本工作的主要贡献如下：

**新观察。**据我们所知，这是首次开创并形式化 FGGCD 这一挑战性问题的研究，弥合了 GCD 和 FGL 之间的差距。**新方法。**我们提出了 GCD-FGL，这是一种新颖的框架，集成了客户端的拓扑可靠语义对齐与发现过程和服务端的层次原型对齐策略，专为 FGGCD 场景定制。**SOTA 性能。**我们在五个真实世界图基准数据集上进行了大量实验。结果表明，GCD-FGL 始终优于最先进的基线，在 HRScore 上实现了平均 +4.86 的增益。

## 2 预备知识与相关工作

### 2.1 预备知识与问题表述

表 1 (https://arxiv.org/html/2605.08178#S2.T1)总结了本文中使用的符号。我们考虑一个全局图$\mathcal{G}$，它被分区为分布在客户端上的$N$个隔离的局部子图$\{\mathcal{G}_1, ..., \mathcal{G}_N\}$。全局标签空间$Y = Y_{known} \cup Y_{novel}$由不相交的已知类别和新类别组成。

对于每个客户端$i$，其局部图$\mathcal{G}_i$由有标签集$\mathcal{V}_i^L$（其中$y_v \in Y_{known}$）和无标签集$\mathcal{V}_i^U$（其中$y_v \in Y_{known} \cup Y_{novel}$）组成。具体而言，每个客户端既包含有标签的已知类别，也包含无标签样本。由于数据异构性，新类别不一定在客户端之间共享，并且可能高度异构。在隐私保护约束下，跨客户端的边是不可观察的，这意味着局部边的并集是全局边的真子集（$\bigcup_{i=1}^{N}\mathcal{E}_i \subset \mathcal{E}$）。

FGGCD 的主要目标是协同学习全局参数$\omega$，以最小化客户端间的经验风险，而不共享局部数据。最终，它寻求为已知类别分类和动态新类别发现提供一个统一的表示空间，这种平衡通过 HRScore 进行定量评估。全局目标表述为：

$$
\min_{\omega} \sum_{i=1}^{N} \frac{|\mathcal{V}_i|}{|\mathcal{V}|} \mathcal{L}_{total}(\omega; \mathcal{V}_i^L, \mathcal{G}_i) + \mathcal{L}_{global}(\omega). \quad (1)
$$

其中$\mathcal{L}_{total}(\omega; \mathcal{V}_i^L, \mathcal{G}_i)$表示在客户端$i$的局部子图$\mathcal{G}_i$上评估的局部优化目标，由可用的有标签集$\mathcal{V}_i^L$引导。为了在数据隔离的情况下实现全局一致的语义空间，$\mathcal{L}_{global}(\omega)$充当概念上的全局对齐正则化项。这种抽象表述建立了 FGGCD 的理论目标；局部发现目标和全局对齐机制的具体实现将在第 3.2 节 (https://arxiv.org/html/2605.08178#S3.SS2)和第 3.3 节 (https://arxiv.org/html/2605.08178#S3.SS3)中详细阐述。

表 1：GCD-FGL 中使用的主要符号总结。
符号 | 描述
--- | ---
**图与数据空间** |
$\mathcal{G}, \mathcal{G}_i$ | 全局图 / 客户端$i$上的局部子图
$\mathcal{V}, \mathcal{E}$ | 全局节点集 / 全局边集
$\mathcal{V}_i^L, \mathcal{V}_i^U$ | 客户端$i$上的有标签集 / 无标签集
$\mathcal{N}_i(v), d_v$ | 节点$v$的局部邻域 / 局部度
$Y_{known}, Y_{novel}$ | 已知类别集 / 新类别集
**联邦设置与可靠性** |
$N, \omega, \omega_i$ | 客户端总数 / 全局模型 / 局部模型
$S_{conf}(v), S_{homo}(v)$ | 节点$v$的预测置信度 / 结构平滑度
$w_v, w_i$ | 节点$v$的 TPR 分数 / 客户端$i$的平均 TPR
$\mathbf{c}_i = \{c_{i,k}\}$ | 客户端$i$上的局部样本密度集
$M_v$ | 置信伪标签的布尔掩码
**服务器与原型管理** |
$\mathcal{P}_{global}$ | 服务器端的全局原型缓冲区
$\mathcal{P}_k^{(t)}$ | 第$t$轮类别$k$的全局原型
$\mathcal{P}_i^{known}, \mathcal{P}_i^{novel}$ | 局部已知原型 / 局部新原型
$K_{local}$ | 用于原型提取的宽松局部集群数量
$v_{i,k}$ | 联合密度-可靠性权重
$\mathcal{X}_{nov}$ | 未分配子原型的全局发现池
$\mathcal{P}_{cand}, \mathcal{P}_{hist}$ | 全局候选中心 / 历史新原型
**目标与超参数** |
$\mathcal{L}_{sup}, \mathcal{L}_{unsup}, \mathcal{L}_{align}$ | 监督流 / TPR 引导无监督流 / 双流语义对齐损失 ($\mathcal{L}_{sup}+\mathcal{L}_{unsup}$)
$\mathcal{L}_{gcl}$ | 拓扑感知图对比流损失
$\tau, \tau_{sharp}$ | 动态温度 / 锐化温度
$\theta^*, \lambda_{hc}$ | 最优阈值截断 / 层次惩罚
$\tau_{base}, \tau_{density}$ | 基础匹配阈值 / 密度过滤阈值
$A_{r,c}$ | 原型匹配的布尔分配矩阵
$\rho$ | EMA 动量更新衰减因子

### 2.2 广义类别发现

在无标签数据中识别已知类别和新类别的能力对于开放世界学习至关重要。早期处理未见类别的范式主要集中在 OOD 检测hendrycks2017baseline，它仅仅拒绝不熟悉样本而不对它们进行进一步分类；或者 NCD han2019learning，它在所有无标签数据都属于新类别集合的严格假设下运行。为了放松严格的 NCD 假设，AutoNovel han2020autonovel提出了通过自监督表示学习将知识从已知类别转移到新类别，但它仍然难以处理无标签数据包含已知和未知类别混合的现实场景。为了解决这种混合数据挑战，ORCA cao2022open引入了一种利用不确定性模式的开放世界半监督学习框架