准确且资源高效的联邦持续学习

# 精确且资源高效的联邦持续学习
来源：https://arxiv.org/html/2606.11480 ,Dhruv Parikhdhruvash@usc\.edu (https://arxiv.org/html/2606.11480v1/mailto:[email protected])University of Southern CaliforniaLos AngelesUSA,Jayashree Adivarahanadivarah@usc\.edu (https://arxiv.org/html/2606.11480v1/mailto:[email protected])University of Southern CaliforniaLos AngelesUSA,Rajgopal Kannanrajgopal\.kannan\.civ@army\.mil (https://arxiv.org/html/2606.11480v1/mailto:[email protected])DEVCOM Army Research OfficeUSAandViktor Prasannaprasanna@usc\.edu (https://arxiv.org/html/2606.11480v1/mailto:[email protected])University of Southern CaliforniaLos AngelesUSA \(2027\) ###### 摘要。联邦持续学习（FCL）必须在有限的资源下（如通信、计算、内存和标签可用性）从分布式任务流中学习。现有的 FCL 方法通常依赖于重复的本地优化、回放和完全监督。解析方法避免了迭代训练和回放，但使用高维随机特征来提高准确性需要二阶特征统计量（Gram 矩阵），其通信成本关于随机特征大小 \(M\) 呈二次增长。我们提出 FedRAN，一个资源感知的解析 FCL 框架，用紧凑的随机特征统计量替代基于梯度的更新。每个客户端传输其 Gram 矩阵的截断 SVD 摘要，将主要的二阶上传从关于 \(M\) 的二次降低到线性（固定秩）。服务器执行两级 QR-SVD 子空间合并，空间上跨客户端、时间上跨任务，并以闭式求解岭分类器。FedRAN 还通过基于原型的伪标记支持标签稀缺。在 CIFAR-100、ImageNet-R 和 VTAB 数据集上，FedRAN 相对于最强基线平均准确率提升最多 4.8 个百分点，每个客户端通信量比基于优化的 FCL 少 30.6–121.8 倍，平均比基于梯度的基线快 190.3 倍；在仅 20% 标签的情况下，伪标记平均准确率提升最多 6.61 点。这些结果表明，FedRAN 在通信、计算和标签约束下能够实现准确且资源高效的 FCL。源代码可在 https://github.com/JebacyrilArockiaraj/Fed-RAN-SSL 获取。联邦持续学习，解析持续学习，半监督学习 ††copyright:acmlicensed††journalyear:2027††doi:XXXXXXX\.XXXXXXX††conference:Conference’17, Washington, DC, USA; ;††isbn:978\-1\-4503\-XXXX\-X/2018/06††ccs:Computing methodologies Machine learning††ccs:Computing methodologies Lifelong machine learning††ccs:Computing methodologies Semi\-supervised learning settings

## 1\. 引言

见图说明 图 1\. 联邦持续学习概述。
表 1\. 比较 FedRAN 与代表性 FCL 和解析学习家族。FedRAN 定位于全二阶解析聚合与一阶/纯统计通信之间的中间地带：它传输随机特征 Gram 统计的低秩谱摘要，并在空间上跨客户端、时间上跨任务进行合并。

联邦学习（FL）使多个客户端能够协作学习模型，同时将原始数据保留在本地（McMahan et al., 2017a (https://arxiv.org/html/2606.11480#bib.bib1); Kairouz and McMahan, 2021 (https://arxiv.org/html/2606.11480#bib.bib2)）。这种保护隐私的学习范式非常适合数据分布在多个客户端且由于所有权、隐私或通信约束无法集中存储的场景。然而，大多数 FL 方法假设一个静态的学习问题：客户端针对固定数据分布优化模型，然后部署学习到的模型。在许多实际部署中，数据在部署后继续到达，随着新类别、新领域或新感知条件的出现，本地客户端分布也会演化（Jothimurugesan et al., 2023 (https://arxiv.org/html/2606.11480#bib.bib8)）。持续学习（CL）研究模型如何从这种非平稳流中学习，同时保持对先前观察到任务的性能（Kirkpatrick et al., 2017b (https://arxiv.org/html/2606.11480#bib.bib6); Schwarz et al., 2018 (https://arxiv.org/html/2606.11480#bib.bib5); De Lange et al., 2021 (https://arxiv.org/html/2606.11480#bib.bib7)）。如图 1 (https://arxiv.org/html/2606.11480#S1.F1) 所示，联邦持续学习（FCL）结合了这两个维度：客户端从私有的顺序任务流中学习，而服务器维护一个涵盖到目前为止所有观察到类别的全局模型（Yoon et al., 2021 (https://arxiv.org/html/2606.11480#bib.bib3); Gholizade et al., 2026 (https://arxiv.org/html/2606.11480#bib.bib4)）。FCL 的一个核心挑战是，实际部署不仅受隐私和灾难性遗忘的约束，还受持续学习所需资源的限制。最近对资源受限 FCL 的基准测试表明，现有方法通常假设无限制的训练开销，并在内存缓冲区、计算预算、通信轮次和标签率受限时性能显著下降（Li et al., 2026 (https://arxiv.org/html/2606.11480#bib.bib15)）。这促使我们将通信、计算、内存和标签可用性视为首要约束而非次要实现细节来设计 FCL。这样的方法应避免重复更新大型客户端模型，避免存储或生成旧数据，在非 IID 客户端划分下保持鲁棒，并且仍能从稀疏标注的流中利用有用信息。

现有的 FCL 方法通过多种机制应对灾难性遗忘，但大多数仍以优化为中心。(Yoon et al., 2021 (https://arxiv.org/html/2606.11480#bib.bib3)) 将模型参数分解为全局和任务自适应组件，用于加权跨客户端迁移。(Dong et al., 2023 (https://arxiv.org/html/2606.11480#bib.bib13)) 使用全局-局部遗忘补偿，结合类别感知损失和关系蒸馏。(Qi et al., 2023 (https://arxiv.org/html/2606.11480#bib.bib10)) 和 (Zhang et al., 2023b (https://arxiv.org/html/2606.11480#bib.bib9)) 依赖生成式回放或无范例蒸馏来保留旧知识。(Bakman et al., 2023 (https://arxiv.org/html/2606.11480#bib.bib12)) 约束全局更新与先前任务激活子空间正交。更近期的预训练模型方法，如 (Bagwe et al., 2023 (https://arxiv.org/html/2606.11480#bib.bib32)) 和 (Guo et al., 2024 (https://arxiv.org/html/2606.11480#bib.bib33))，通过提示或 LoRA 模块减少可训练参数。这些方法提高了持续准确率，但仍需要迭代的本地优化、重复的通信轮次、辅助的回放或蒸馏机制、任务特定模块或完全监督。此外，当全局模型在非 IID 客户端数据上更新时，本地更新可能引发跨客户端的特征漂移，使得同一客户端的数据在其他客户端更新全局模型后映射到不同的表示（Venkatesha et al., 2022 (https://arxiv.org/html/2606.11480#bib.bib16)）。

解析学习提供了一种不同的方法。解析方法不是通过梯度反复优化模型参数，而是冻结特征提取器，并以闭式从特征统计量中更新分类器。(Zhuang et al., 2022 (https://arxiv.org/html/2606.11480#bib.bib39)) 表明，递归解析更新可以在不存储过去样本的情况下，匹配集中式持续学习中联合训练的性能。(Fanì et al., 2024b (https://arxiv.org/html/2606.11480#bib.bib40)) 和 (Fanì et al., 2024a (https://arxiv.org/html/2606.11480#bib.bib41)) 将闭式岭分类器引入联邦学习，表明可加性统计量可以降低联邦头部对客户端划分的敏感性。(Tang et al., 2025b (https://arxiv.org/html/2606.11480#bib.bib42)) 将该思想扩展到 FCL，用冻结特征上的解析聚合替代基于梯度的更新。(Guan et al., 2026 (https://arxiv.org/html/2606.11480#bib.bib38)) 进一步表明，特征统计量可以在空间上跨客户端、时间上跨任务进行聚合，从而给出 FCL 的闭式分类器更新。这些工作确立了解析统计量是迭代式 FCL 的有力替代方案。然而，它们暴露了一个关键的准确率-资源权衡：更强的解析分类器依赖于二阶特征统计量，但完整的 Gram 矩阵随特征维度呈二次增长。当使用高维随机特征时，这种权衡变得更加尖锐。(McDonnell et al., 2023 (https://arxiv.org/html/2606.11480#bib.bib18)) 表明，冻结的非线性随机投影可以通过增加特征可分性和实现二阶原型去相关来显著提高准确率。(Peng et al., 2024 (https://arxiv.org/html/2606.11480#bib.bib43)) 进一步表明，随机特征矩阵可能是病态的，截断 SVD 提高了集中式持续学习的稳定性。然而，直接将随机特征解析流程应用于联邦环境代价高昂：如果客户端上传完整的二阶 Gram 矩阵，通信量随随机特征维度 \(M\) 按 \(M^2\) 增长。通信高效的替代方案降低了这一成本，但通常需要估计二阶结构。例如，(Guan et al., 2026 (https://arxiv.org/html/2606.11480#bib.bib38)) 提出了 STSA-E，从一阶标签-特征统计量和标签计数中估计全局 Gram 矩阵，并在真实客户端数量较少时使用虚拟客户端。此类估计器改进了通信，但并未直接保留 Gram 矩阵的主要特征-特征方向。

我们提出 FedRAN，一个资源感知的 FCL 解析框架。FedRAN 保持骨干网络冻结，并用紧凑的随机特征统计量替代迭代的客户端训练。每个客户端计算其本地随机特征 Gram 矩阵的截断 SVD 摘要。然后服务器执行两级 QR-SVD 子空间合并。这产生一个秩有界的全局谱状态，近似主导的二阶几何结构，而无需传输完整的 \(M \times M\) Gram 矩阵。为了应对稀疏标签，FedRAN 进一步引入了基于原型的伪标记变体 FedRAN-SSL，允许高置信度的未标记样本贡献于解析更新。因此，FedRAN 在 FCL 设计空间中占据了一个独特的位置。如表 1 (https://arxiv.org/html/2606.11480#S1.T1) 所示，与基于梯度的 FCL 相比，它避免了本地反向传播、重复的模型交换和可训练表示漂移。与解析 FCL 相比，它避免了完整的二阶通信。与一阶或插件式统计方法相比，它保留了主要的 Gram 方向，而不是仅从类别级摘要中估计 Gram 矩阵。与集中式低秩解析 CL 相比，它引入了缺失的联邦组件：一个时空 QR-SVD 合并，将本地低秩随机特征摘要转化为全局持续分类器状态。我们工作的主要贡献包括：
- • 我们提出 FedRAN，一个资源感知的解析 FCL 框架，用随机特征统计量和闭式分类器更新替代迭代的客户端训练。
- • 我们设计了一种低秩截断 SVD 随机特征 Gram 摘要的两级 QR-SVD 子空间合并，实现了空间上跨非 IID 客户端和时间上跨类别增量任务的聚合，而无需传输完整的二阶矩阵。
- • 我们将 FedRAN 形式化为子空间约束的岭分类器，并提供确定性界，将其 Gram 近似、分类器近似和预测分数稳定性与保留的谱子空间联系起来。
- • 我们使用基于原型的伪标记将 FedRAN 扩展到标签稀缺流，使得置信未标记样本能够贡献于解析标签-特征统计量。
- • 我们在非 IID FCL 设置下，在 CIFAR-100、ImageNet-R 和 VTAB 数据集上评估 FedRAN。FedRAN 相对于最强基线平均准确率提升最多 4.8 个百分点，每个客户端通信量比代表性基于优化的 FCL 少 30.6–121.8 倍，平均比基于梯度的基线快