FedLBW:无线网络中非独立同分布数据下基于损失的联邦学习加权策略
摘要
本文提出FedLBW,一种联邦学习聚合策略,该策略使用验证损失的倒数而非数据集大小来加权客户端更新,提高了在无线网络中应对非独立同分布数据和客户端掉线时的准确性和鲁棒性。
arXiv:2608.07007v1 公告类型:新
摘要:联邦学习(FL)能够在分布式客户端之间进行协作式机器学习(ML),同时保护隐私。然而,在FL中实现高效的模型收敛仍然具有挑战性,尤其是在无线网络中,非独立同分布(non-IID)数据和频繁的客户端掉线十分常见。传统的FL算法,如FedAvg,仅依靠数据集大小来加权客户端更新。这导致了对拥有较大数据集的客户端产生偏置,并使过程对非IID数据、异常值和客户端掉线敏感。为了解决这些挑战,我们提出了基于损失加权的联邦学习(FedLBW),一种新颖的聚合方法,该方法为每个客户端的更新分配一个与其验证损失成反比的权重,该验证损失是使用服务器上的一个小型代理数据集计算的,而不是使用其数据集大小。这确保了在聚合过程中,损失较低的模型能发挥更大的影响力,优先考虑最可靠的更新并提升整体性能。通过在多个数据集(包括FashionMNIST(CNN)、CIFAR-10(ResNet-18)和CIFAR-100(ResNet-34))上进行的大量实验,我们证明FedLBW相比FedAvg、FedAvgM、FedProx、FedNova、FedLAW和FedDkw等基线算法,能够实现更高的准确率和更快的收敛速度,在极端非IID情况下,在CIFAR-10上的准确率显著提高了高达7.6%。此外,FedLBW展现了对不断增加掉线概率的卓越鲁棒性,即使在具有挑战性的条件下也能始终保持显著更高的准确率。这些结果确立了FedLBW作为无线网络环境中FL的一种有效且鲁棒的解决方案,在模型准确性、收敛速度以及对非IID数据和客户端掉线的鲁棒性方面提供了显著改进。
查看缓存全文
缓存时间: 2026/08/10 08:00
# FedLBW:一种基于损失的加权策略,用于无线网络中非独立同分布数据的联邦学习 来源:https://arxiv.org/abs/2608.07007 查看 PDF (https://arxiv.org/pdf/2608.07007) > 摘要:联邦学习(FL)能够在分布式客户端之间实现协作式机器学习(ML),同时保护隐私。然而,在无线网络中,非独立同分布(non-IID)数据和频繁的客户端掉线现象普遍存在,这使得 FL 的高效模型收敛仍然充满挑战。传统的联邦学习算法(如 FedAvg)仅依靠数据集大小来给客户端更新加权。这会导致对数据集较大的客户端产生偏差,并使过程对 non-IID 数据、异常值和客户端掉线敏感。为解决这些挑战,我们提出了基于损失的加权联邦学习(FedLBW),这是一种新颖的聚合方法,它根据服务器上使用小型代理数据集计算的验证损失的倒数,为每个客户端的更新分配权重,而不是根据其数据集大小。这确保低损失模型在聚合过程中发挥更大影响,优先考虑最可靠的更新并提升整体性能。通过在多个数据集(包括 FashionMNIST(CNN)、CIFAR-10(ResNet-18)和 CIFAR-100(ResNet-34))上进行的大量实验,我们证明 FedLBW 与基线算法(如 FedAvg、FedAvgM、FedProx、FedNova、FedLAW 和 FedDkw)相比,实现了更高的准确率和更快的收敛速度,在极端 non-IID 情况下,在 CIFAR-10 上准确率显著提升了高达 7.6%。此外,FedLBW 显示出对不断增加掉线概率的卓越韧性,即使在具有挑战性的条件下也能持续保持显著更高的准确率。这些结果确立了 FedLBW 作为无线网络环境中联邦学习的一种有效且稳健的解决方案,在模型准确率、收敛速度以及对 non-IID 数据和客户端掉线的鲁棒性方面提供了显著改进。 ## 提交历史 来自:Taehong Kim [查看电子邮件](https://arxiv.org/show-email/bfe83162/2608.07007) **\[v1\]** 2026年8月7日星期五 09:21:37 UTC(730 KB)
相似文章
关于基于推送的异步联邦学习:一种偏差纠正聚合方法
本文提出了PushCen-ADFL,一种通信高效的异步去中心化联邦学习框架,它使用基于质心的消息传递和偏差纠正,在异构条件下提高准确性并降低通信开销。
联邦轻量级微调
本文介绍了FLITE(联邦低秩迭代训练引擎),一种联邦微调方法,通过使用冻结的仿射映射网络,从一个小型可训练潜变量和低秩可种子重生的因子分解生成权重,将每轮每客户端的通信量降至每轮1280个浮点数(约5KB)——相比于全权重FedAvg减少了8718倍。在CIFAR-100数据集上使用ResNet-18进行测试,准确率与全权重FedAvg相差在0.5个百分点以内。
同质与异构数据分布下联邦学习聚合策略的比较研究
本文对各种联邦学习聚合策略进行了全面的实验比较,分析了它们在homogeneous和heterogeneous数据分布下的性能和效率。
FIRMA: 基于斐波那契环模型聚合的隐私保护联邦学习
本文介绍了FIRMA,一种包含三种隐私保护联邦学习协议的系列方案,采用斐波那契加权环聚合,实现了无服务器运行、永久隐私的分类头以及在数据异构性下提高准确率。
现实世界客户端流失下的鲁棒联邦学习
FeLiX是一个新的联邦学习编排框架,通过处理临时客户端可用性、动态数据异质性和结果延迟,优化实时交互流上的目标准确率时间。它引入了流感知可用性层级、新鲜效用选择和延迟鲁棒聚合,与最先进的基线相比,将挂钟时间减少了最多2.37倍,通信带宽减少了1.30倍。