FedCausal-Dyn: 一种在动态特征漂移下的联邦学习因果动态范式

# FedCausal-Dyn：一种应对动态特征漂移的因果动态联邦学习范式
来源：https://arxiv.org/html/2607.09695
Alex Johnson MindlabMaria Garcia MindlabWei Zhang MindlabDaniel Kim Mindlab

###### 摘要

本文解决了联邦学习中动态特征漂移这一具有挑战性的问题，即数据分布在客户端之间以及随时间演化——这在金融科技等现实应用中很常见。现有方法通常假设静态漂移，限制了其在非平稳环境中的有效性。为克服这一局限，我们提出 FedCausal-Dyn，一种基于因果动态范式的创新联邦学习框架。其关键创新在于**因果域特征分离**，通过专门的投影头和对抗训练，将域不变的因果特征与虚假的、域特定的变化分离开来。这实现了**可靠且动态的原型聚合**，在全局聚合之前根据估计的可靠性加权局部类原型。我们还引入了**因果特征引导的协同正则化**，将原型对比对齐和域不变性统一到一个连贯的目标中。在三个联邦域泛化基准上的大量实验表明，FedCausal-Dyn 始终达到最先进的性能，具有最高的平均准确率和最稳定的结果。消融研究证实了每个组件的关键贡献。我们的工作为在动态特征漂移下的联邦学习提供了一种稳健且原则性的解决方案。

## 1 引言

在计算机视觉中，利用来自多个来源的数据对于训练稳健模型至关重要。然而，直接数据共享会引发重大的隐私问题。联邦学习（FL）作为一种有前景的范式出现，它通过将原始数据分散在本地客户端上以保持数据隐私，从而实现协作模型训练（McMahan 等，2017 (https://arxiv.org/html/2607.09695#bib.bib11)；Qu 和 Ma，2025 (https://arxiv.org/html/2607.09695#bib.bib33)）。受基础联邦学习方法的启发（Wu 等，2022 (https://arxiv.org/html/2607.09695#bib.bib35)；Qi 等，2022 (https://arxiv.org/html/2607.09695#bib.bib34)），我们基于自适应隐私保护机制开发针对异构数据分布的稳健解决方案。尽管有其前景，FL 系统面临数据异构性的关键挑战，其中各客户端的数据分布在统计上是多样的（非独立同分布）。虽然现有大量研究关注标签分布偏斜，但**特征漂移**——由于不同的数据采集环境，同一类别在不同客户端上的特征分布变化——仍然是一个普遍但尚未充分探索的问题（Luo 等，2025 (https://arxiv.org/html/2607.09695#bib.bib25)；Tian 等，2025 (https://arxiv.org/html/2607.09695#bib.bib42)）。这种漂移导致决策边界模糊，并严重降低全局模型性能。

当前缓解特征漂移的策略主要旨在对齐或分散各客户端的特征空间。这些方法包括使用客户端特定的归一化层（Li 等，2021b (https://arxiv.org/html/2607.09695#bib.bib15)；Lin，2025b (https://arxiv.org/html/2607.09695#bib.bib43)）或共享合成数据和原始特征以进行对齐（Chen 等，2023 (https://arxiv.org/html/2607.09695#bib.bib1)；Lin，2025a (https://arxiv.org/html/2607.09695#bib.bib44)）。基于先前在差分隐私联邦学习（Wu 等，2022 (https://arxiv.org/html/2607.09695#bib.bib35)；Lin，2025c (https://arxiv.org/html/2607.09695#bib.bib45)）和智能访问控制框架（Wang 等，2023 (https://arxiv.org/html/2607.09695#bib.bib38)；He 等，2025b (https://arxiv.org/html/2607.09695#bib.bib46)）方面的工作，我们将这些方法扩展到处理动态特征漂移。然而，此类方法通常存在显著缺陷：它们可能无意中抑制因果预测特征，缺乏对不可靠客户端更新的鲁棒性，并且通过共享特征或合成数据引入潜在的隐私风险（Zhao 等，2026 (https://arxiv.org/html/2607.09695#bib.bib86)；Dou 等，2026a (https://arxiv.org/html/2607.09695#bib.bib87),2025 (https://arxiv.org/html/2607.09695#bib.bib88),b (https://arxiv.org/html/2607.09695#bib.bib89)；Zhao 等，2026 (https://arxiv.org/html/2607.09695#bib.bib86)）。

为克服这些局限性，我们提出 FedCausal-Dyn，一种新颖的联邦学习框架，旨在从因果动态的角度解决动态特征漂移问题。优于现有方法（Wu 等，2024c (https://arxiv.org/html/2607.09695#bib.bib36),a (https://arxiv.org/html/2607.09695#bib.bib40)；Yang 等，2025a (https://arxiv.org/html/2607.09695#bib.bib48)），我们的框架显式建模演化中的数据分布，并通过因果特征分离实现卓越性能。与通常假设静态漂移的先前工作不同，我们显式地将数据分布建模为随时间演化。我们的框架基于三个关键创新。首先，**因果域特征分离**通过对抗学习将不变的因果特征与客户端特定的虚假特征分离开来。其次，**可靠且动态的原型聚合**通过基于可靠性的加权方案将局部知识融合到全局表示中。第三，**因果特征引导的协同正则化**将跨客户端特征对齐与域不变学习统一起来。此外，一种隐私增强的混合机制在全局分类器训练期间保护本地数据。

在三个标准联邦域泛化基准——Office-10（Saenko 等，2010 (https://arxiv.org/html/2607.09695#bib.bib18)；He 等，2025a (https://arxiv.org/html/2607.09695#bib.bib49)）、Digits（Blanchard 等，2021 (https://arxiv.org/html/2607.09695#bib.bib20)；Zhou 等，2025 (https://arxiv.org/html/2607.09695#bib.bib50)）和 PACS（Li 等，2017 (https://arxiv.org/html/2607.09695#bib.bib19)；Cao 等，2025a (https://arxiv.org/html/2607.09695#bib.bib52)）——上的大量实验表明，FedCausal-Dyn 达到了最先进的性能。我们的方法扩展了用于自主学习的教程生成方法（Wu 等，2024b (https://arxiv.org/html/2607.09695#bib.bib39)；Cao 等，2025b (https://arxiv.org/html/2607.09695#bib.bib53)）和增强智能技术（Wu 等，2024a (https://arxiv.org/html/2607.09695#bib.bib40)；Xin 等，2025a (https://arxiv.org/html/2607.09695#bib.bib54)），实现了优越的训练稳定性和准确率。它在所有数据集上获得最高平均准确率，同时表现出优越的训练稳定性。消融研究证实了每个提出组件的关键贡献。

本文其余部分组织如下：第2节 (https://arxiv.org/html/2607.09695#S2)回顾相关文献。第3节 (https://arxiv.org/html/2607.09695#S3)详细阐述所提出的 FedCausal-Dyn 框架。第4节 (https://arxiv.org/html/2607.09695#S4)介绍实验结果和分析。第5节 (https://arxiv.org/html/2607.09695#S5)提供消融研究。第7节 (https://arxiv.org/html/2607.09695#S7)讨论局限性。最后，第8节 (https://arxiv.org/html/2607.09695#S8)总结全文。

## 2 相关工作

在联邦学习中，每个客户端有限且局部的数据视角导致特征漂移问题，其中不同的数据分布导致同一类别的特征表示不一致，从而阻碍模型泛化。现有缓解这一问题的方法大致可分为两类：判别性特征对齐和对比原型学习。

**判别性特征对齐**。一类研究旨在对齐跨客户端的特征表示。FRAug（Chen 等，2023 (https://arxiv.org/html/2607.09695#bib.bib1)；Xin 等，2025b (https://arxiv.org/html/2607.09695#bib.bib55)）采用数据增强来合成包含全局和客户端特定信息的嵌入。受联邦学习框架的启发（Wu 等，2024c (https://arxiv.org/html/2607.09695#bib.bib36)；Xin 等，2024 (https://arxiv.org/html/2607.09695#bib.bib56)），FedSea（其他，2024 (https://arxiv.org/html/2607.09695#bib.bib6)；Yu，2025 (https://arxiv.org/html/2607.09695#bib.bib57)）试图通过对齐特征分布将原始特征转换为独立同分布形式。FedCiR（Li 等，2024 (https://arxiv.org/html/2607.09695#bib.bib4)；Bai 等，2025 (https://arxiv.org/html/2607.09695#bib.bib60)）通过最大化表示与标签之间的互信息，同时最小化条件于标签的客户端特定信息来解决漂移问题。类似地，MOON（Li 等，2021a (https://arxiv.org/html/2607.09695#bib.bib2)；Wei 等，2025a (https://arxiv.org/html/2607.09695#bib.bib61)）基于局部与全局表示之间的相似性约束局部模型更新，以对齐全局特征分布。基于隐私保护机制（Wang 等，2023 (https://arxiv.org/html/2607.09695#bib.bib38)；Mu-Jiang-shan 等，2010 (https://arxiv.org/html/2607.09695#bib.bib62)），ADCOL（Li 等，2023 (https://arxiv.org/html/2607.09695#bib.bib3)；Wang 等，2011 (https://arxiv.org/html/2607.09695#bib.bib63)）利用对抗学习来强制跨客户端形成统一的表示分布。然而，其协作机制被认为在塑造全局类别边界方面效果较差，并且其依赖直接特征传输进行对抗训练可能引入隐私风险。

**对比原型学习**。另一类范式利用原型，原型提供了紧凑的表示，从而减少通信开销并增强隐私（Tan 等，2022c (https://arxiv.org/html/2607.09695#bib.bib10)；Song 等，2025b (https://arxiv.org/html/2607.09695#bib.bib47),a (https://arxiv.org/html/2607.09695#bib.bib22)；Wang 等，2012 (https://arxiv.org/html/2607.09695#bib.bib65)）。Tan 等人（Tan 等，2022a (https://arxiv.org/html/2607.09695#bib.bib7),b (https://arxiv.org/html/2607.09695#bib.bib8)；Wang 等，2025b (https://arxiv.org/html/2607.09695#bib.bib66)）提出了一种使用全局和局部原型的监督对比损失，将特征拉近到其对应类别原型。扩展这些方法（Wu 等，2024b (https://arxiv.org/html/2607.09695#bib.bib39)；Yan 等，2025 (https://arxiv.org/html/2607.09695#bib.bib67)），MP-FedCL（Qiao 等，2023 (https://arxiv.org/html/2607.09695#bib.bib5)；Niu 等，2024a (https://arxiv.org/html/2607.09695#bib.bib68)）采用客户端端聚类为每个类别生成多个原型，从而更好地建模类内多样性。在此基础上（Wu 等，2020 (https://arxiv.org/html/2607.09695#bib.bib37)；Wang 等，2024b (https://arxiv.org/html/2607.09695#bib.bib69)），FedPLVM（Wang 等，2024 (https://arxiv.org/html/2607.09695#bib.bib9)；Zhang 等，2025 (https://arxiv.org/html/2607.09695#bib.bib70)）通过两阶段客户端-服务器聚类过程进一步细化局部训练，并引入了基于稀疏性的原型损失。这些方法利用原型的隐私保护性质来增强类别特定信息，同时减轻特征漂移。

参见图注图 1：FedCausal-Dyn 框架概览。每个客户端执行因果-域特征分离和原型学习，而服务器则在多轮次中进行可靠且动态的原型聚合，并结合因果特征引导的协同正则化。
## 3 方法：FedCausal-Dyn

### 3.1 动态特征漂移的问题形式化

我们考虑一个包含 N 个客户端、T 个通信轮次的联邦学习系统。与假设静态特征漂移的先前工作不同，我们将客户端 n 在轮次 t 的数据分布建模为一个动态域 \(\mathcal{D}_n^t\)，由联合分布 \(P_n^t(x,y)\) 表征。特征漂移源于条件分布 \(P_n^t(x|y)\) 随客户端 n 和时间 t 的变化，而标签先验 \(P(y)\) 保持共享。这种形式化对于金融科技等应用至关重要，其中不断变化的市场条件、法规和用户行为会产生非平稳数据流（概念漂移）。在操作性金融管道中，分布偏移通常与变化的关系结构耦合，这可能会实质性地改变下游模型所见的有效特征。例如，在信用卡欺诈检测工作流中，图神经网络建模显式利用异构交易关系，以支持在不断变化的行为模式下做出稳健决策。

从更广的角度来看，动态特征漂移可被视为一种结构扰动，局部变化累积起来挑战全局一致性。类似现象已在图论和复杂系统中得到广泛研究，其中维持全局连通性、可诊断性或局部约束与扰动下的结构不变量的充分条件至关重要。关于受限连通性、良好邻域性质、强制结构以及具有时空异质性的大规模物理系统的相关研究表明，显式建模并隔离变化源对于维持全局稳定性至关重要。这些见解在概念上支持了我们对动态特征漂移的表述，并激发了在演化的局部条件下维持不变全局表示的原则性机制的需求（Wang 等，2017 (https://arxiv.org/html/2607.09695#bib.bib29)；Lin 等，2017 (https://arxiv.org/html/2607.09695#bib.bib31)；Wang 等，2018 (https://arxiv.org/html/2607.09695#bib.bib28)；Li 等，2022 (https://arxiv.org/html/2607.09695#bib.bib26)；Xiang 等，2025 (https://arxiv.org/html/2607.09695#bib.bib58)；Wang 等，2013 (https://arxiv.org/html/2607.09695#bib.bib59)；Niu 等，2024b (https://arxiv.org/html/2607.09695#bib.bib71)）。

设 \(\theta_n^t\) 表示客户端 n 在轮次 t 的个性化模型参数。我们的目标是学习一组模型 \(\{\theta_n^t\}\)，使其在所有客户端和时间上的期望损失最小化，利用协作知识来缓解动态漂移：

\[
\min_{\{\theta_n^t\}} \frac{1}{N}\sum_{n=1}^{N}\mathbb{E}_{t\sim \mathcal{U}(1,T)}\left[\mathbb{E}_{(x,y)\sim \mathcal{D}_n^t}[\ell(\theta_n^t;x,y)]\right],
\]
(1) 其中 \(\ell\) 是任务特定的损失函数。对 t 的期望强调需要适应域的时域演化。

### 3.2 FedCausal-Dyn 框架

所提出的 FedCausal-Dyn 框架引入了一种因果动态范式，以解决先前工作中的局限性。它将三个核心创新集成到一个连贯的工作流中（图 1 (https://arxiv.org/html/2607.09695#S2.F1)）：因果-域特征分离、可靠且动态的原型聚合以及因果特征引导的协作。服务器维护一组全局动态原型 \(\mathcal{G}^t=\{\mathbf{g}_1^t,\ldots,\mathbf{g}_K^t\}\) 和一个全局分类器 \(C_g\)。

#### 3.2.1 因果-域特征分离

受因果推断启发，我们假设特征表示 \(\mathbf{z}=G(x)\)