基于意见动力学的异构物联网系统联邦学习联盟形成

# 面向异构物联网系统的基于观点动态的联邦学习联盟形成
来源：https://arxiv.org/html/2609.19695
Mohammed El Hanjri、Anas Abouaomar  
邮箱：[anas\_abouaomar@um5\.ac\.ma](mailto:[email protected])  
单位：ENSIAS，摩洛哥拉巴特穆罕默德五世大学  
Hamidou Tembine  
邮箱：[hamidou\.tembine@uqtr\.ca](mailto:[email protected])  
单位：电气与计算机工程系，工程学院，魁北克大学三河分校，加拿大魁北克省  
Abdellatif Kobbane  
邮箱：[abdellatif\.kobbane@ensias\.um5\.ac\.ma](mailto:[email protected])  
单位：ENSIAS，摩洛哥拉巴特穆罕默德五世大学

###### 摘要

联邦学习（FL）能够在异构的物联网（IoT）部署中实现隐私保护的设备端模型训练，例如智慧城市水表计量网络，其中每个智能电表观测特定家庭的消费时间序列。在此类统计异质性下，标准的联邦平均（FedAvg）聚合方法会将差异显著的本地模型平均为一个单一的全局模型，可能无法捕捉客户端特定的模式。我们通过在本地权重空间中直接形成客户端联盟，并在联盟层面进行聚合来解决此问题。在先前基于权重的联盟形成方案的基础上，我们将在本地权重上作用的联盟形成过程建模为Hegselmann-Krause（HK）有限信任观点动态过程，并开发了基于欧氏距离和余弦相似度信任准则的HK交互变体。该框架应用于使用本地长短期记忆（LSTM）模型的短期水消费预测，并与FedAvg、Per-FedAvg、FedProx以及采用欧氏距离或余弦相似度联盟形成的FedAvg进行对比评估。基于真实智能计量水消费数据集的实验表明，所提出的基于HK的联盟形成机制在最多十次内部迭代内即产生了稳定的内生联盟结构，与FedAvg相比不增加额外的客户端计算或通信开销，并将平均绝对误差（MAE）分别相对FedAvg降低了高达54%、相对FedProx降低了39%、相对Per-FedAvg降低了24%，同时达到了最高的全局准确率（83-85%）。

###### 关键词

联邦学习、物联网、数据异质性、联盟形成、Hegselmann-Krause观点动态、水消费预测、智慧城市

## 1 引言

联邦学习（FL）已成为在大规模分布式、隐私敏感的物联网（IoT）设备群体中协作训练模型的标准范式（McMahan等人，2017；Kairouz等人，2021）。通过将原始数据保留在设备本地并仅交换模型参数，FL在保护隐私的同时减少了与集中式训练相比的通信量，这使其对智慧城市和边缘部署具有吸引力（Pandya等人，2023；Jiang等人，2020；Singh等人，2022）。然而，其在实际中的有效性受限于统计异质性：物联网设备观测来自不同分布的数据，因此其本地目标存在冲突，标准的联邦平均（FedAvg）聚合方法将差异显著的本地模型混合为一个单一的全局模型，对个体设备而言是一个较差的折衷（Li等人，2020）。本文所要解决的问题就是在异质性下提升联邦学习的效率。

我们通过一个典型的异构物联网用例研究此问题：智慧城市中的水消费短期负荷预测（STLF）。联网的智能电表记录家庭层面的消耗，该数据具有高度异质性，受到家庭间差异很大的行为、人口和环境因素的影响（Kavya等人，2023；Drogkoula等人，2023），并且数据是隐私敏感的，因为细粒度的追踪数据可能揭示居住和活动模式。每个设备训练一个本地长期短期记忆（LSTM）预测器，该模型通过其门控记忆机制适合于捕捉此类序列中的长期时间依赖关系（Nasser等人，2020；Bezzar等人，2022）。这一设置恰好呈现了联邦学习所面临的非独立同分布（non-IID）结构，并作为我们实验的测试平台；所提出的方法本身独立于预测模型，仅作用于交换的权重。

应对异质性的一种自然方法不是一次性在所有设备间聚合，而是在兼容客户端的组内进行聚合，其模型可以在不产生相互干扰的情况下组合；这种个性化或分组模型相对于单一共享模型在负荷预测中的优势已有充分记录（Reguieg等人，2023；Xu等人，2024）。关键问题在于如何在没有访问隐私数据的情况下形成这些组：一个隐私兼容的信号是本地模型本身，因为拥有相似数据的客户端倾向于学习到相似的权重。这一思想已通过固定数量的、基于距离的联盟形成中的权重驱动联盟方案被利用（El Hanjri等人，2024）。

在本文中，我们通过将联盟形成构建为本地权重上的有限信任观点动态过程来推广该方案。具体来说，我们将Hegselmann-Krause（HK）模型（Rainer和Krause，2002）应用于训练后的本地模型：每个客户端是一个智能体，其“观点”是其权重向量，仅当模型彼此兼容时，智能体之间才会相互强化。将此交互运行至其定点即可得到一个内生的划分，因为联盟的数量和成员资格从数据中涌现而非预先固定，并且它自然地将非典型客户端隔离为异常值，而不是强制将其纳入联盟。我们研究了不同的兼容性概念：欧氏信任球、余弦相似度阈值以及非对称余弦信任界限，其动机在于观察到高维权重的方向通常比其绝对距离更具信息性。本文的贡献如下。

- 我们将异质性感知的联邦学习聚合构建为本地权重上的联盟形成问题，并展示了HK有限信任交互如何产生数量和成员资格均内生且自适应的联盟。
- 我们开发了交互的三种实例化形式（欧氏、余弦相似度和非对称余弦信任）以及一种联盟聚合算法，该算法将联盟质心组合到共享模型中，并进行了复杂度分析，显示相对于FedAvg无额外的客户端计算或通信开销。
- 我们将该框架实例化应用于使用本地LSTM模型的短期水消费预测，并在智慧城市数据集上，与采用欧氏联盟的FedAvg、采用余弦联盟的FedAvg、FedProx（Li等人，2020）以及Per-FedAvg（Reguieg等人，2023）进行了对比评估，报告了联盟结构、收敛性和预测准确性。

论文其余部分组织如下。第2节回顾相关工作。第3节提出系统模型和问题表述。第4节阐述所提出的基于HK的联盟形成框架。第5节和第6节描述实验设置并讨论结果，结论与展望在第7节。

## 2 相关工作

联邦学习（FL）作为集中式训练的一种通信高效、隐私保护的替代方案而被提出（McMahan等人，2017；Hard等人，2018），综述文献记录了其广度和开放性问题（Kairouz等人，2021），包括智慧城市应用（Pandya等人，2023；Jiang等人，2020）和隐私保护的物联网部署（Singh等人，2022）。一个核心障碍是统计异质性：当客户端数据为非独立同分布时，FedAvg收敛缓慢，且生成的全局模型可能与单个客户端最优解产生较大偏差。FedProx（Li等人，2020）在本地目标中增加近端项以限制客户端漂移，提高了在异质性下的稳定性。联邦方法也已应用于边缘能源和需求管理（Rezazadeh和Bartzoudis，2022；El Hanjri等人，2026），并研究了激励机制以鼓励参与（Khan等人，2020）。我们的工作针对相同的异质性障碍，但不是正则化单一全局模型，而是围绕兼容客户端的联盟重构聚合过程。

另一条互补的工作路线是生成多个或客户端特定的模型。个性化联邦学习（Personalized FL）将共享模型适配到每个客户端，例如基于元学习的Per-FedAvg，在Reguieg等人（2023）中针对狄利克雷偏斜数据与FedAvg进行了对比评估。而去中心化、异质性感知的方案已针对智能家居能源和舒适度预测被提出（Xu等人，2024）。聚类思想在边缘和传感器网络中是经典的（例如，k-means对设备进行分组，El Mezouary等人，2016），已被移植到联邦学习中以在相似客户端组内进行聚合。最接近本文的是El Hanjri等人（2024）的方案，该方案使用模型间距离和固定数量的联盟，直接在本地权重空间中形成联盟。本文的不同之处在于联盟并非预设的：它们作为有限信任交互的定点涌现，并且我们额外引入了基于余弦的兼容性，该兼容性对权重幅值不变。

超越固定大小的联盟，越来越多的近期工作直接从模型参数对联邦学习客户端进行聚类。WSCC（Tian等人，2022）将亲和传播应用于客户端权重向量间的余弦距离，使得聚类数量能够自动确定而非预设；FedClust（Islam等人，2024）从本地训练模型的战略性选择的部分权重中一次性形成聚类，既避免了迭代聚类联邦学习的漫长稳定阶段，也避免了预定义组数。博弈论公式化则将分组视为显式的联盟博弈：DualGFL（Chen等人，2025）将一个下层的享乐博弈（客户端根据偏好配置形成联盟）与一个上层的拍卖（联盟竞标参与训练）相耦合。这些工作证实了权重相似性是数据相似性可靠的、隐私兼容的代理，但它们依赖于通用的聚类启发式或手工设计的效用函数。相反，我们获得的划分是有限信任交互的定点集合，这是一类动态过程，其收敛性和聚类特性有成熟理论支持（Bernardo等人，2024），从而产生同时具有内生性、异常值感知且无需任何辅助聚类机制的联盟。

观点动态中的有限信任模型描述了智能体如何仅通过平均其信任范围内的同伴来更新其位置。HK模型（Rainer和Krause，2002）是该类模型的典范：智能体反复移动到位于信任界限内的观点的均值处，动力学稳定为由间隙分隔的共识簇。这种基于信任的聚类行为自然适合联邦学习中的联盟形成，其中每个客户端持有一个模型（一个观点），并且只有兼容的模型应该被聚合在一起。据我们所知，我们将HK交互应用于联邦学习系统的本地权重以驱动联盟形成，并将其从经典的欧氏球扩展到适用于高维模型参数的余弦相似度和非对称余弦信任邻域。

我们评估该框架的用例——短期负荷和需求预测——本身拥有大量文献。机器学习模型，特别是深度循环网络，现已成为此任务的标准方法。Marino等人（2016）使用序列到序列LSTM架构进行建筑能源负荷预测，在细时间分辨率下取得了优异结果，但在较粗（小时级）精度下收益有限。进化和特征选择策略已被用于调整LSTM预测器（Almalaq和Zhang，2018；Bouktif等人，2018），尽管其准确性在迁移到新数据集时常常下降。为应对消费变异性，一些工作将具有相似配置文件的用户分组或汇集异构序列以扩大多样性（Stephen等人，2015；Shi等人，2017）。在水务领域，基于LSTM和微服务的系统已被提出用于城市需求预测（Nasser等人，2020；Kavya等人，2023；Drogkoula等人，2023），时间序列分析已应用于家庭层面消耗（Bezzar等人，2022）。这些预测方法主要是集中式的；它们面临的隐私和可扩展性约束正是此处所研究的联邦化、异质性感知表述的动机。

联邦化的短期负荷预测本身是近期才出现的。在Rahman等人（2025a）中，作者通过元学习适配每个客户端的学习率，实现了在非独立同分布计量数据下个性化基于联邦学习的负荷预测，后续工作将联邦预测扩展到具有有限连接性的多跳智能计量网络（Rahman等人，2025b）。Bose和Kim（2023）在