Collate：面向延迟关键边缘系统的协作神经网络学习

# 10.1109/ICCD56317.2022.00097。本研究受RIE2020产业对齐基金 – 产业合作项目（IAF-ICP）资助计划支持，并得到行业合作伙伴惠普公司（HP Inc.）通过HP-NTU数字制造企业实验室（I1801E0028）提供的现金及实物捐助。
来源：https://arxiv.org/html/2607.08013
## Collate：面向延迟关键边缘系统的协作神经网络学习††感谢：© 2022 IEEE。允许个人使用此材料。如需用于任何其他当前或未来媒体，包括重新印刷/重新发布以进行广告或促销、创建新的集体作品、转售或重新分发到服务器或列表，或在本作品的其他任何地方重用任何受版权保护的组件，均须获得IEEE许可。本文是作者被接受的版本，发表于2022年IEEE第40届国际计算机设计大会（ICCD），第627-634页，DOI: 10.1109/ICCD56317.2022.00097。本研究受RIE2020产业对齐基金 – 产业合作项目（IAF-ICP）资助计划支持，并得到行业合作伙伴惠普公司（HP Inc.）通过HP-NTU数字制造企业实验室（I1801E0028）提供的现金及实物捐助。

Shuo Huai34, Di Liu4, Hao Kong34, Xiangzhong Luo3, Weichen Liu3, Ravi Subramaniam2, Christian Makaya2 和 Qian Lin2

###### 摘要

联邦学习（FL）使得多个客户端能够协作学习一个模型，通过扩大每个客户端的训练数据来提高准确性，同时保护数据隐私。然而，在实时边缘系统中部署FL时，系统间设备的异构性对推理模型的性能有严重影响。现有的FL优化专注于提高训练效率，但未能加速推理，特别是在存在延迟约束的情况下。在这项工作中，我们提出了Collate，一个新颖的训练框架，它协作学习异构模型，同时满足多个边缘系统的延迟约束。我们设计了一种动态归零-恢复方法，以在每个本地模型的延迟约束下调整其架构以获得高准确性。还引入了一种原型校正的联邦聚合方案，用于聚合所有异构的本地模型，仅通过一次训练过程就能满足不同系统的延迟约束，并保持高准确性。大量实验表明，与最先进的方法相比，在延迟约束下，我们的扩展模型平均可以提高1.96%的准确性，我们的收缩模型平均也可以获得3.09%的准确性提升，且几乎没有额外的训练开销。相关代码和数据将在 https://github.com/ntuliuteam/Collate 提供。

## I. 引言

深度神经网络（DNN）在许多不同应用中带来了重大突破，例如图像识别和自然语言处理[1]。随着对数据隐私的重视以及对传输稳定性的担忧，当前的DNN应用越来越多地部署在边缘设备上，如自动驾驶车辆、医疗设备等[1]。同时，DNN模型需要大量的训练数据来提高准确性[2]，但大多数行业的数据受到隐私法的保护，因此必须以孤立岛屿的形式存在。

联邦学习（FL）旨在协调多个客户端协作训练一个DNN模型，而无需共享其原始本地数据，它能够保护数据隐私并实现比每个客户端仅使用其本地数据训练更好的准确性[3]。这解决了单个训练数据不足的问题。然而，除了准确性之外，延迟也是边缘智能系统的一个重要指标[4]。随着具有不同计算能力的各种边缘设备的出现，FL训练的相同模型对于所有参与边缘系统来说并不高效，并且无法在延迟和准确性之间取得良好平衡。如图1所示，将模型部署到各种边缘系统时，延迟从13.6毫秒到236.0毫秒不等。当此应用有延迟约束（例如30.0毫秒）时，一些系统可以推断更复杂的模型以获得更高的准确性，而其他系统由于内存和计算资源有限，甚至无法部署该模型。

参见图注
图1：联邦训练的AlexNet在各种边缘系统上的延迟。
以微众银行的一个实际场景为例[5]。他们需要一个边缘FL框架，其中每个监控公司在边缘云中收集和存储的监控视频数据不需要上传到中央云进行集中模型训练。在每次本地训练迭代后，只有每个监控公司的模型参数被发送到FL服务器进行聚合。最终的联邦训练模型被分发给参与的监控公司用于目标检测。然而，不同的公司可能使用不同的边缘设备，并且此应用具有实时性特点，因此有必要为不同的公司训练异构模型以满足其延迟约束。

已经有一些努力使用不同的DNN架构来适配训练阶段的各种客户端，这被称为异构FL[6,7,8,9,10]。这些方法主要分为两类：一种是从相同的全局模型为不同的客户端微调模型，另一种是直接学习没有相同全局模型的异构模型。然而，这些现有方法旨在加速训练阶段，不能直接优化推理延迟。当第一种方法用于延迟关键系统时，它一次只能为一个系统训练特定的网络，直到使用多个FL过程为所有系统训练完毕，这带来了巨大的训练开销。虽然第二种方法可以直接为不同的系统提供异构的模型架构，但它需要一些公共数据集进行迁移学习[9]或额外的数据集进行原型学习[10]。此外，缺乏相同的全局模型会导致准确性下降高达10%[11]。为了保证FL方案的通用性和准确性，我们的方法应基于第一种方法。

同时，在延迟约束下优化模型时，我们不仅应该减少低端系统的延迟，还应该为功能强大的系统（例如图1中的Jetson TX2）扩展模型以提高其准确性[12]，这与现有的仅通过收缩模型来降低训练成本的异构FL形成对比。因此，我们将模型扩展集成到我们的学习框架中，以更好地利用每个客户端。据我们所知，这是第一篇优化FL以同时满足所有参与系统的延迟约束并获得高准确性的论文。具体而言，我们的主要贡献总结如下：

- •我们提出了一种新颖的模型学习框架Collate，它为多个边缘系统协作培养最优的DNN架构，以获得更高的准确性，并且仅通过一次训练过程就能满足它们的延迟约束。
- •我们在全局训练过程中提出了一种原型校正聚合方案，以有效聚合来自每个边缘系统的所有异构模型，从而获得更高的准确性。
- •我们通过动态归零-恢复训练过程设计了一种延迟感知的本地训练方案。它扩展了Collate的探索空间，以发现每个边缘系统的最优DNN架构。
- •我们通过大量实验证明了Collate的有效性。与最先进的方法相比，在相同的延迟约束下，我们的扩展模型平均可以提高1.96%的准确性，而收缩模型的准确性平均优于其他模型3.09%。

参见图注
图2：ResNet变体在设备上的延迟与FLOPs之间的关系（从左到右依次为HP Probook、Jetson TX2、Jetson Nano、Pi和Note10）。
参见图注
图3：Collate的过程。顶部描绘了延迟保证组件，而底部显示了异构FL组件。

## II. 背景与相关工作

在本节中，我们介绍FL、异构FL和延迟预测的预备知识，包括一些相关工作的优缺点。

### II-A 联邦学习

在传统的FL算法（FedAvg[13]）中，多个边缘系统协作在其各自的本地训练数据上训练相同的模型，以解决数据孤岛问题并保护隐私。在此训练步骤中，不同系统在每le个本地训练轮次后将模型参数传输到服务器。然后服务器执行模型聚合。考虑此FL过程包括n个系统，系统i的损失函数为fi。令w表示模型参数，则训练优化目标变为：

min_w f(w) := 1/n ∑_{i=1}^n f_i(w)        (1)
训练过程可表示为：
w_i^{t+(e+1)} = w_i^{t+e} - η_i^{t+e} ∇f_i(w_i^{t+e})        (2)
w^{t+1} = 1/n ∑_{i=1}^n w_i^{t+le}        (3)
其中w_i^{t+e}表示系统i在t次通信轮次和e次本地训练步骤后的本地模型参数。η是学习率，∇表示导数。从等式(3)可以看出，传统的FL[13]基于所有不同系统的本地模型架构相同以进行聚合。

### II-B 异构联邦学习

传统FL过程中涉及的两个主要挑战是不同系统之间的统计异构性和硬件异构性[14]。统计异构性意味着不同系统上的数据不是独立同分布的（Non-IID）[15]，并且不同系统有不同信息要学习，而硬件异构性指参与FL过程的各种设备具有不同的计算能力。针对这两个挑战，人们提出了不同的异构FL方法。

**统计异构性：** 大多数关于统计异构性的现有工作旨在每个本地数据上获得更高的准确性。它们通过定制全局模型，为每个参与系统使用参数不同的不同或相同的模型架构。Wang等人[16]提出使用每个客户端的本地数据对训练好的全局模型的某些或所有参数进行微调。Jiang等人[17]提出将元学习与FL相结合，以定制模型来识别每个本地数据模式。Khodak等人[18]提出通过在线凸优化理论和元学习来提高统计异构FL的准确性。这些方法侧重于提高本地模型在每个系统本地数据集上的准确性。它们应用于每个系统的大部分推理数据与其相应训练集模式匹配的场景。本文旨在为所有参与边缘系统学习不同的本地模型以满足其延迟要求。因此，在考虑统计异构性时，上述这些方法可以用作我们方法的后端，以实现更高的准确性。

**硬件异构性：** 当前关于硬件异构性的研究集中于简化模型架构，以加速训练并减少计算能力较低设备上的模型大小。Caldas等人[19]提出随机选择全局模型的小子集，具有预期的模型体积，从而在训练期间减少客户端到服务器的通信和本地计算。Li等人[20]提出Hermes，通过应用结构化剪枝为某些设备找到小的子网络。Jeong等人[21]提出使用知识蒸馏来减少一些低端设备上的模型大小。Xu等人[7]提出Helios，通过在训练阶段动态将全局模型压缩到预期体积，来加速计算能力较弱的设备。Diao等人[8]提出HeteroFL，根据每个设备的计算能力，预先为每个设备分配具有不同计算复杂度的模型。此外，他们还提出了一种聚合异构本地模型以在训练阶段生成全局模型的方法。

这些方法被提出来在应用设备端训练时减少训练时间或通信成本。然而，FL不仅仅是设备端训练[22]。并且通常，模型的使用（推理）持续时间比其生成（训练）更长。因此，推理优化对FL框架更为关键。尽管这些方法中的一些可以被修改以加速低端设备上的推理，但这些为全局模型设计的方法会导致每个本地模型的大幅准确性损失。同时，这些方法没有考虑通过扩展模型来提高强大设备的准确性，并且它们的聚合方法会给大型模型带来准确性下降，如IV节所述。

### II-C 延迟预测

基于延迟优化模型可以更好地探索硬件特性，在准确性与延迟的权衡中提供额外优势[23]。为了在延迟约束下获得高准确性，我们在本地训练期间动态调整本地模型架构，并且新的模型架构需要满足延迟约束。然而，在设备上测量延迟会中断训练过程，通常需要几分钟[24]，特别是对于离设备训练[22]。而且，如图2所示，模型的延迟与浮点运算数（FLOPs）之间的关系较弱，因此不太可能通过算术函数计算延迟。