FedLBW:无线网络中非独立同分布数据下基于损失的联邦学习加权策略
摘要
本文提出FedLBW,一种联邦学习聚合策略,该策略使用验证损失的倒数而非数据集大小来加权客户端更新,提高了在无线网络中应对非独立同分布数据和客户端掉线时的准确性和鲁棒性。
arXiv:2608.07007v1 公告类型:新
摘要:联邦学习(FL)能够在分布式客户端之间进行协作式机器学习(ML),同时保护隐私。然而,在FL中实现高效的模型收敛仍然具有挑战性,尤其是在无线网络中,非独立同分布(non-IID)数据和频繁的客户端掉线十分常见。传统的FL算法,如FedAvg,仅依靠数据集大小来加权客户端更新。这导致了对拥有较大数据集的客户端产生偏置,并使过程对非IID数据、异常值和客户端掉线敏感。为了解决这些挑战,我们提出了基于损失加权的联邦学习(FedLBW),一种新颖的聚合方法,该方法为每个客户端的更新分配一个与其验证损失成反比的权重,该验证损失是使用服务器上的一个小型代理数据集计算的,而不是使用其数据集大小。这确保了在聚合过程中,损失较低的模型能发挥更大的影响力,优先考虑最可靠的更新并提升整体性能。通过在多个数据集(包括FashionMNIST(CNN)、CIFAR-10(ResNet-18)和CIFAR-100(ResNet-34))上进行的大量实验,我们证明FedLBW相比FedAvg、FedAvgM、FedProx、FedNova、FedLAW和FedDkw等基线算法,能够实现更高的准确率和更快的收敛速度,在极端非IID情况下,在CIFAR-10上的准确率显著提高了高达7.6%。此外,FedLBW展现了对不断增加掉线概率的卓越鲁棒性,即使在具有挑战性的条件下也能始终保持显著更高的准确率。这些结果确立了FedLBW作为无线网络环境中FL的一种有效且鲁棒的解决方案,在模型准确性、收敛速度以及对非IID数据和客户端掉线的鲁棒性方面提供了显著改进。
查看缓存全文
缓存时间: 2026/08/10 08:00
# FedLBW:一种基于损失的加权策略,用于无线网络中非独立同分布数据的联邦学习 来源:https://arxiv.org/abs/2608.07007 查看 PDF (https://arxiv.org/pdf/2608.07007) > 摘要:联邦学习(FL)能够在分布式客户端之间实现协作式机器学习(ML),同时保护隐私。然而,在无线网络中,非独立同分布(non-IID)数据和频繁的客户端掉线现象普遍存在,这使得 FL 的高效模型收敛仍然充满挑战。传统的联邦学习算法(如 FedAvg)仅依靠数据集大小来给客户端更新加权。这会导致对数据集较大的客户端产生偏差,并使过程对 non-IID 数据、异常值和客户端掉线敏感。为解决这些挑战,我们提出了基于损失的加权联邦学习(FedLBW),这是一种新颖的聚合方法,它根据服务器上使用小型代理数据集计算的验证损失的倒数,为每个客户端的更新分配权重,而不是根据其数据集大小。这确保低损失模型在聚合过程中发挥更大影响,优先考虑最可靠的更新并提升整体性能。通过在多个数据集(包括 FashionMNIST(CNN)、CIFAR-10(ResNet-18)和 CIFAR-100(ResNet-34))上进行的大量实验,我们证明 FedLBW 与基线算法(如 FedAvg、FedAvgM、FedProx、FedNova、FedLAW 和 FedDkw)相比,实现了更高的准确率和更快的收敛速度,在极端 non-IID 情况下,在 CIFAR-10 上准确率显著提升了高达 7.6%。此外,FedLBW 显示出对不断增加掉线概率的卓越韧性,即使在具有挑战性的条件下也能持续保持显著更高的准确率。这些结果确立了 FedLBW 作为无线网络环境中联邦学习的一种有效且稳健的解决方案,在模型准确率、收敛速度以及对 non-IID 数据和客户端掉线的鲁棒性方面提供了显著改进。 ## 提交历史 来自:Taehong Kim [查看电子邮件](https://arxiv.org/show-email/bfe83162/2608.07007) **\[v1\]** 2026年8月7日星期五 09:21:37 UTC(730 KB)
相似文章
FedImp:通过基于杂质的加权提升联邦学习收敛性
FedImp是一种新颖的联邦学习算法,它使用基于杂质的加权来提升非独立同分布数据设置下的收敛速度,与基线方法相比,在通信轮次上显示出显著减少。
FLoKD:用于无线网络上联邦低秩LLM的自适应知识蒸馏
本文提出FLoKD,一种用于无线网络上联邦LoRA微调LLM的自适应知识蒸馏框架,可将通信开销降低50-65%,同时保持竞争性能。
FedeRage: 在一般客户端漂移下可证明收敛的普适联邦学习
本文介绍了FedeRage,这是一种风险规避的联邦学习方法,使用条件风险价值来解决未知客户端参与和异构性问题,并在实验中展示了更高的准确性、公平性和收敛性。
FedFIbOS:基于Fisher重要性的异构联邦学习最优子建模
FedFIbOS提出了一种基于Fisher重要性的方法,用于异构联邦学习中的最优子模型选择,该方法具有理论基础,并在非独立同分布设置下比现有最先进方法准确率提高约10%。
SWB-DM:用于部分参与下拜占庭鲁棒联邦学习的校准切片-瓦瑟斯坦重心聚合器与延迟动量缓存
本文介绍了SWB-DM,一种用于联邦学习的鲁棒聚合方法,该方法结合了切片瓦瑟斯坦重心和延迟动量缓存,以有效处理拜占庭攻击和部分参与问题。