联邦持续学习：分布式与非平稳数据上终身学习与隐私保护学习的综合综述

# 联邦持续学习：分布式与非平稳数据源上终身学习与隐私保护学习的全面综述 来源：https://arxiv.org/html/2606.11272

###### 摘要

联邦学习（FL）能够实现跨分布式客户端的协作式隐私保护模型训练，但现有大多数联邦学习系统隐含地假设数据具有平稳性。在现实场景中——如医疗保健、工业物联网（IIoT）、网络安全和智慧城市——数据流本质上具有非平稳性，导致经典联邦学习方法面临性能下降、不稳定和灾难性遗忘等问题。持续学习（CL）解决了在动态数据分布下的学习问题，但其研究主要集中于集中式环境，忽略了联邦系统的关键约束，包括隐私、有限通信和客户端异质性。联邦持续学习（FCL）出现在联邦学习与持续学习的交叉点，旨在支持在分布式和非平稳数据上进行终身、自适应且隐私感知的学习。本综述提供了联邦持续学习的全面且系统的概述。我们首先给出联邦持续学习问题的正式定义，并阐明其独特特征。然后分析经典联邦学习在非平稳条件下的局限性，突出持续学习原理如何支持长期适应。为组织快速增长的文献，我们提出了联邦持续学习方法的多维分类法。此外，我们回顾了具有代表性的应用领域和数据模态，总结了常用的评估指标，并讨论了评估长期性能和遗忘的实验视角。最后，我们强调了关键开放挑战，包括在时间漂移下处理极端异质性、设计可扩展且隐私保护的内存机制，以及建立标准化基准。本综述旨在为推进联邦持续学习朝着稳健且可部署的现实世界系统提供参考和路线图。

###### 关键词: 联邦持续学习；联邦学习；持续学习；非平稳数据；概念漂移；非独立同分布数据；灾难性遗忘；客户端异质性；隐私保护学习；流数据

††期刊：Nuclear Physics B
\affiliation [label1]organization=比萨大学信息工程系, addressline=Largo Lucio Lazzarino 1, city=比萨, postcode=56122, country=意大利

## 1 引言

分布式数据在边缘设备和组织间的激增，使得由于隐私、监管和通信限制，集中式数据收集变得越来越不切实际。联邦学习（FL）因此成为了一种变革性的范式，用于在不共享原始数据的情况下进行协作式模型训练。通过将数据保留在客户端本地并仅交换模型更新，联邦学习能够跨分布式数据孤岛构建全局模型，同时显著降低数据暴露带来的风险。这种去中心化学习范式已广泛应用于移动和边缘计算、医疗基础设施、工业物联网（IIoT）和智慧城市等领域，这些领域持续产生大规模敏感数据，并需要严格的隐私保证[73 (https://arxiv.org/html/2606.11272#bib.bib1)]。

尽管有这些优势，经典联邦学习算法大多假设客户端数据分布是平稳的，而这一假设在现实环境中几乎不成立[17 (https://arxiv.org/html/2606.11272#bib.bib126)]。在实际部署中，由于用户行为、环境条件、操作上下文的变化以及新类别或新任务的出现，数据流会表现出连续的分布偏移。忽略这种时间动态可能导致显著的性能下降，因为先前学到的知识会过时或被后续更新覆盖[34 (https://arxiv.org/html/2606.11272#bib.bib16)]。在动态数据分布下学习的问题已在持续学习（CL）背景下得到广泛研究，其目标是使模型能够增量地从流数据中获取新知识，同时保留先前学到的信息，从而减轻灾难性遗忘。大量文献探讨了基于回放的策略、正则化技术和架构调整，以平衡可塑性和稳定性[19 (https://arxiv.org/html/2606.11272#bib.bib197)]。然而，大多数持续学习方法是在集中式环境中开发的，其中数据完全可访问，可以存储、回放或重新组织，不受隐私或通信限制[42 (https://arxiv.org/html/2606.11272#bib.bib159)]。

联邦学习与持续学习的交叉产生了一个更具挑战性的范式，通常称为联邦持续学习（FCL）。联邦持续学习处理数据既跨多个客户端分散又随时间非平稳的场景。联邦持续学习的一个核心挑战是知识保留与严格隐私约束之间的张力，这些约束限制了历史数据的存储或共享[15 (https://arxiv.org/html/2606.11272#bib.bib102)]。在这种情况下，模型必须应对灾难性遗忘、统计异质性、有限通信预算和部分客户端参与。因此，联邦持续学习不仅仅是联邦学习和持续学习的简单组合，而是一个独特的范式，必须平衡持续适应、协作学习和隐私保护。

联邦持续学习的必要性在那些数据持续演变且决策必须随时间保持可靠的高影响力应用领域尤其明显。在医疗保健领域，患者群体、临床方案和诊断标准的变化要求模型能够适应而不遗忘先前的医学知识。在工业物联网和智能制造中，传感器数据分布会因设备老化、维护和操作条件变化而变化。在网络安全和网络领域，新的攻击模式不断出现，而历史威胁仍需识别[92 (https://arxiv.org/html/2606.11272#bib.bib123)]。在这些领域中，数据通常无法集中，模型更新必须既具有隐私感知又对时间变化鲁棒，这使得联邦持续学习成为一种自然且必不可少的学习范式。

尽管联邦持续学习近年来受到越来越多的关注，但现有文献仍然支离破碎。许多研究侧重于特定的算法组件、特定的持续学习策略或狭窄的实验设置，这使得难以推导出通用的设计原则或实现跨方法的系统比较。评估协议也差异很大，对于如何联合评估长期准确性、灾难性遗忘、模型稳定性、通信效率和内存需求，尚未达成明确共识[72 (https://arxiv.org/html/2606.11272#bib.bib54)]。先前的工作已经研究了相关问题，如联邦环境中的非独立同分布数据、概念漂移和持续学习，突出显示了统计异质性与时间动态之间的强烈相互作用[20 (https://arxiv.org/html/2606.11272#bib.bib60),83 (https://arxiv.org/html/2606.11272#bib.bib58)]。然而，现有综述通常侧重于问题的特定方面，如非独立同分布条件下的联邦学习或集中式或部分分布式环境中的持续学习，而没有提供关于联邦持续学习的统一且面向设计的视角。表1 (https://arxiv.org/html/2606.11272#S1.T1) 突出了联邦持续学习综述的演变，并清晰指出了现有文献中的若干局限性。分类法常常是部分或受限的（例如，基于融合、基于任务或基于场景），并且在应用、数据集和评估协议方面普遍缺乏全面覆盖。特别是，数据集和评估策略通常有限、隐含或非标准化，这阻碍了可重复性和系统比较。相比之下，本工作采用统一的联邦持续学习视角，并引入了一个多维分类法，该分类法联合考虑了适应、聚合、个性化和持续学习范式。它还提供了更全面和结构化的应用和数据集视图，具有模态感知组织和标准化的评估标准。

表 1: 现有联邦持续学习综述的比较
| 参考文献（年份） | 视角 | 分类法 | 应用 | 数据集 | 评估 | 不足 |
|---|---|---|---|---|---|---|
| [20] (2022) | 问题聚焦 | − | − | 有限 | 经验性 | 无联邦持续学习视角 |
| [83] (2023) | 方法聚焦 | 基于融合 | − | 非常有限 | 有限 | 范围狭窄 |
| [76] (2024) | 领域聚焦 | 基于任务 | ✓ | 隐含 | 有限 | 领域特定 |
| [26] (2025) | 挑战驱动 | 部分 | ✓ | 有限 | 有限 | 无统一结构 |
| [5] (2025) | 场景聚焦 | 基于持续学习 | 有限 | 场景有限 | 中等 | 范围受限 |
| [59] (2026) | 应用聚焦 | 基于应用 | ✓ | 领域层面 | 有限 | 应用特定 |
| **本工作** | **统一联邦持续学习视角** | **适应、聚合、个性化和持续学习范式** | **全面** | **结构化、模态感知** | **标准化且结构化** | – |

更确切地说，本综述：(i) 形式化联邦持续学习问题，(ii) 分析经典联邦学习在动态环境中的局限性，(iii) 通过多维分类法和批判性评估视角系统地组织现有方法，该视角联合捕捉去中心化、持续适应和隐私保护。本综述的主要贡献总结如下：

- 1. 提供了联邦持续学习的正式定义，明确将其与传统联邦学习和集中式持续学习设置区分开来。
- 2. 开发了面向设计的、多维的分类法，基于适应策略、聚合机制、个性化技术和底层持续学习范式系统地对现有联邦持续学习方法进行分类。
- 3. 通过回顾主要领域和数据集模态，呈现了应用驱动的视角，突出了联邦持续学习场景的实际相关性和多样性。
- 4. 批判性地审视了实验协议和评估指标，强调了对长期性能、灾难性遗忘、通信效率和内存需求进行标准化评估。
- 5. 识别了关键未解决问题，包括时间漂移下的异质性、隐私保护内存机制、全局模型稳定性以及缺乏标准化基准，并提出了有前景的未来研究方向。

本综述的结构如图1 (https://arxiv.org/html/2606.11272#S1.F1) 所示。第2节 (https://arxiv.org/html/2606.11272#S2) 回顾了联邦学习、持续学习及其整合为联邦持续学习的必要背景，随后是第3节 (https://arxiv.org/html/2606.11272#S3) 的综述方法论。第4节 (https://arxiv.org/html/2606.11272#S4) 通过分析经典联邦学习在动态环境中的局限性，论证了联邦持续学习的必要性。第5节 (https://arxiv.org/html/2606.11272#S5) 基于适应策略、聚合机制、个性化方法和持续学习范式，呈现了现有联邦持续学习方法的全面分类法，而第6节 (https://arxiv.org/html/2606.11272#S6) 回顾了主要应用领域和用例，第7节 (https://arxiv.org/html/2606.11272#S7) 讨论了联邦持续学习中不同的数据集模态。第8节 (https://arxiv.org/html/2606.11272#S8) 重点介绍了局限性、开放挑战和未来研究方向，第9节 (https://arxiv.org/html/2606.11272#S9) 对综述进行总结。

参考图注 图 1: 本文的整体结构。

## 2 背景与定义

本节提供联邦持续学习的必要背景。首先从非平稳环境的角度回顾联邦学习，突出其在数据分布随时间演变时的局限性。然后介绍持续学习，并讨论其在去中心化和隐私敏感环境中的局限性。最后，将联邦持续学习表述为一种统一的学习范式，该范式整合了去中心化、持续适应和知识保留，为后续综述奠定概念基础。

### 2.1 联邦学习（FL）

联邦学习是一种分布式机器学习范式，使多个客户端能够协作训练共享模型，同时将训练数据本地化在每个参与者处[86 (https://arxiv.org/html/2606.11272#bib.bib130)]。联邦学习不是将原始数据收集到集中存储库中，而是依赖模型参数或梯度的迭代交换，这大大降低了隐私风险和通信开销。这种去中心化训练原则使联邦学习成为在医疗保健、工业物联网、移动边缘计算和智慧城市等敏感和大规模环境中实现隐私保护学习的基础性解决方案[50 (https://arxiv.org/html/2606.11272#bib.bib69)]。

标准的联邦学习设置遵循客户端-服务器架构，其中中央服务器协调学习过程并维护全局模型，而分布式客户端群体持有私有数据集并执行本地训练。在每个通信轮次中，服务器选择可用客户端的一个子集，广播当前的全局模型，并从它们那里接收本地更新的参数。然后聚合这些更新以构建新的全局模型，随后重新分发给客户端。这种架构能够跨去中心化数据孤岛进行可扩展的协作，同时保持数据本地性并减少敏感信息的直接暴露[51 (https://arxiv.org/html/2606.11272#bib.bib70)]。

形式上，令 \(K\) 表示客户端总数，\(D_k\) 表示客户端 \(k\) 的本地数据集。联邦学习中的全局优化目标通常表述为：
\[
\min_w F(w) = \sum_{k=1}^K p_k F_k(w),
\]
其中 \(w\) 表示全局模型参数，\(F_k(w)\) 是在 \(D_k\) 上的本地经验风险，\(p_k\) 是权重因子，通常选择与 \(D_k\) 的基数 \(|D_k|\) 成正比。这一表述突出了联邦学习优化的是异构本地目标的加权组合。当客户端数据分布是非独立同分布（这在实际中是常态而非例外）时，这种异质性加上隐私诱导的噪声等因素，会显著降低模型性能和学习效果[7 (https://arxiv.org/html/2606.11272#bib.bib103)]。

在操作上，联邦学习通过一系列迭代通信轮次进行。在每个轮次中，客户端子集使用其私有数据执行若干步本地优化，之后将得到的模型更新上传到服务器并聚合以更新全局模型。这种协议通过限制每轮仅部分客户端参与，显著减少了通信开销，特别适合资源受限和间歇性连接的环境[7 (https://arxiv.org/html/2606.11272#bib.bib103)]。联邦平均（FedAvg）由于简单和计算效率高，是最广泛使用的聚合方法，它根据客户端本地数据集的大小计算客户端模型的加权平均值[50 (https://arxiv.org/html/2606.11272#bib.bib69)]。然而，其性能通常