OrchNAS：面向个性化联邦边缘智能的编排式神经架构搜索服务

# OrchNAS：面向个性化联邦边缘智能的编排式神经架构搜索服务
来源：https://arxiv.org/html/2607.22805
###### 摘要

我们提出 OrchNAS，一个能量感知、个性化、联邦边缘智能框架，利用神经架构搜索服务自动为异构边缘环境设计服务自适应模型。该框架在服务器端 NAS 服务上编排架构搜索过程，使边缘服务能够在设备级能量、计算和内存约束下推导出个性化架构。我们引入了一种能量感知全局架构搜索机制，该机制跨异构服务学习紧凑的全局表示。我们开发了一种能量高效的架构选择机制，通过渐进式、贪心、能量感知的剪枝策略，使每个服务能够推导出满足其资源约束的个性化子网络。我们提出了一种能量高效的个性化模型优化方案，该方案在更新服务自适应参数的同时保留全局表示，其中原始–对偶优化机制在架构适应过程中强制执行严格的能量预算。在真实世界和基准数据集上的实验证明了所提方法的有效性。

## I 引言

边缘计算的快速发展使得智能服务能够部署在异构边缘设备上，例如智能手机、物联网传感器和自动驾驶汽车[4]。这些设备用于训练机器学习模型，服务于远程监控、健康监测和智能交通等应用[2]。将机器学习模型部署在边缘设备上以提供智能服务被称为边缘智能。这些系统依赖于人工智能即服务平台来管理跨设备的模型，从而实现更低的延迟、更强的隐私保护和更低的通信开销[4]。

联邦学习即服务是一种基于云的服务范式，使部署在分布式边缘设备上的异构边缘服务能够协作训练机器学习模型，同时保持数据本地化。每个服务使用其私有数据进行本地训练，并仅将模型更新共享给中央协调服务器[26]。这种方法支持隐私保护和可扩展的边缘智能，适用于物联网环境。然而，参与服务之间的统计异构性仍然是一个关键挑战。由于非独立同分布的数据分布，服务表现出高度多样化的数据特征，这可能会阻碍全局模型收敛并降低性能。

个性化联邦学习使模型适应每个服务的本地数据，从而在异构环境中提升性能[21]。它允许每个服务根据其本地数据定制共享模型，解决统计异构性并提高 FLaaS 中的有效性。例如，在健康监测系统中，可穿戴边缘服务对联邦模型进行个性化，以反映个体生理模式。

PFL 的一个关键挑战是高能耗[7]。虽然个性化提高了模型性能，但由于额外的本地训练和模型适应，它增加了计算复杂度[7]。几种 PFL 方法通过基于编码器-解码器的个性化和集群特定模型设计来解决能耗问题[7,8]。这些方法提高了性能并降低了能耗，但依赖于手动预定义的架构。手动方法指基于人类专业知识设计模型架构和调整超参数。这个过程通常涉及迭代试错[28]。此类方法存在若干局限性，包括依赖专家知识、耗时的调优以及跨数据集和任务的泛化能力有限[28]。因此，本文研究自动化个性化技术，以实现高效、可扩展且适应性强的联邦边缘智能。

神经架构搜索服务是一个基于云的框架，通过编排并行训练容器来自动优化神经架构[10]。它系统地提出候选架构，通过并行训练进行评估，并利用性能反馈迭代优化搜索，所得性能指标作为奖励信号引导后续搜索迭代[10]。这实现了无需手动设计或搜索基础设施的可扩展架构优化。在边缘智能中，NAS 服务支持基于云的架构设计，评估模型是否符合设备约束，并将自适应模型交付给分布式服务。NAS 在自动化深度学习模型设计方面展现出了巨大潜力[1,9]。现有研究将 NAS 集成到 PFL 中，设计客户端特定模型，通过资源感知的结构化搜索提高性能和效率[1,2]。

在边缘智能中，服务运行在具有不同硬件能力、内存容量和能量约束的设备上[2]。因此，以精度驱动的个性化可能会增加能耗，导致电池快速耗尽和可扩展性受限[3]。例如，在功能强大的设备上表现良好的复杂服务模型，在资源受限设备上可能迅速耗尽电池，而轻量级服务模型可能限制高性能设备的表现。由于服务模型的架构影响计算成本和能耗，在所有服务中使用相同的架构效率低下。因此，个性化应同时适应模型参数和架构，以匹配设备约束。NAS 驱动的联邦训练支持跨分布式客户端的协作架构搜索[1,2,3]。据我们所知，此类方法主要关注精度和搜索效率，很少关注个性化架构适应过程中的能耗。我们确定了使个性化联邦 NAS 中实现能效更加困难的三个关键挑战。

- • NAS 的能耗：NAS 是能量密集型的，因为它需要在搜索过程中探索和评估许多架构[9]。每个候选模型都需要部分训练和验证以估计其性能[9]。这种重复训练增加了计算和内存使用，从而增加了能耗。在边缘智能中，由于跨多个客户端的分布式架构搜索，NAS 消耗更多能量。
- • 全局-个性化表示学习：在个性化服务中，模型学习全局知识，同时适应本地数据和资源[2]。然而，NAS 引入了设计支持全局和个性化组件的架构的挑战。如果全局主干过大，会增加计算负载；如果过小，可能无法捕获有用的全局特征。因此，设计能够在服务设备上平衡精度和能耗的 NAS 架构是一个关键挑战。
- • 服务自适应架构搜索：在 FLaaS 中，服务代表一个参与的边缘节点，具有独特的数据分布和资源约束；因此，模型是为每个服务量身定制的。NAS 的集成增加了额外的复杂度，因为需要在不同数据分布和资源约束下为每个服务优化架构。例如，资源受限的服务（如可穿戴和移动设备）需要轻量级架构，而能力更强的服务可以支持更深层的模型。然而，搜索和评估多个架构会产生显著的计算开销和能耗，尤其是在资源受限环境中。因此，设计能量高效的服务自适应架构搜索仍然是一个关键挑战。

为了解决这些挑战，我们设计了 OrchNAS，用于个性化联邦边缘智能，利用 NAS 服务。OrchNAS 在三个关键层面优化能耗：NAS 搜索空间、全局服务架构和个性化服务。首先，我们引入了一种能量高效的全局服务架构搜索方法，该方法学习紧凑的共享表示。服务器通过进化突变生成候选架构，并选择在最小化训练能耗的同时有效进行全局学习的架构。接下来，我们开发了一种能量高效的架构选择机制，使每个服务能够在其资源约束下推导出个性化服务。这是通过渐进式、贪心、能量感知的剪枝策略实现的，该策略移除高计算成本的操作，从而产生轻量级架构。最后，我们提出了一种能量高效的个性化优化方法，在更新服务自适应参数的同时保留全局表示。集成了原始-对偶优化机制，通过惩罚违反约束的行为来强制执行能量预算。这允许每个服务获得针对其数据分布和资源能力定制的个性化服务，同时确保能量高效的训练。我们从精度、能效和可扩展性方面评估了 OrchNAS，验证了其在个性化联邦边缘智能中的有效性。本文的主要贡献如下：

- • 一种利用 NAS 服务进行服务自适应架构设计的新型能量高效 OrchNAS 框架。
- • 一种使用进化突变和能量感知评分学习全局表示的能量高效全局服务架构搜索方法。
- • 一种在能量、计算和内存约束下用于个性化子网络的服务自适应架构。
- • 一种基于原始-对偶优化的个性化训练方法，在保持性能精度的同时强制执行能量预算。

## II 相关工作

先前服务计算领域的工作主要集中在服务组合、服务选择、工作流优化和资源感知管理，实现了边缘环境中分布式服务的高效协调[17,18,19,31,32,33,34]。这为边缘智能奠定了坚实基础，实现了服务部署和分布式资源的高效利用[17,21]。然而，这些方法将服务视为固定计算单元，未考虑自适应架构优化。为了解决异构性问题，最近的研究引入了个性化机制，允许服务根据本地数据和资源约束调整模型[20,21]。尽管如此，现有面向服务的边缘智能框架主要强调训练、组合和资源调度，而忽略了自动化模型设计[17,21,26]。

NAS 最近已成为推动个性化边缘智能的一种有前途的方法[1,2,3,4,5,6]。SPIDER 提出了一个个性化 NAS 框架，使用带有权重共享的共享超级网络搜索客户端特定架构；然而，由于超级网络传输和设备端 NAS，它带来了高开销[1]。类似地，FEDPNAS 为联邦学习引入了一种个性化 NAS 框架，联合学习共享的基础架构和客户端特定的个性化组件。通过结合上下文感知的算子采样和个性化感知的训练目标，该方法改善了模型对异构客户端任务的适应性[3]。最近，PEACHES 进一步拓展了这一思路，将共享基础单元与个性化单元相结合，以提高在异构边缘环境下的模型适应性[2]。PerFedRLNAS 是一个基于强化学习的联邦 NAS 框架，自动为每个客户端发现个性化架构。服务器端超级网络对客户端特定子网络进行采样用于本地训练，而强化学习则根据客户端性能更新架构参数[4]。HAPFNAS 是一个异构感知的个性化联邦 NAS 框架，利用知识蒸馏、预测器引导的进化搜索和异构模型聚合来解决统计和资源异构性[5]。个性化联邦随机微分方程 NAS（PerFedSDE-NAS）直接在客户端设备上执行 NAS，从而在 PFL 中保护隐私。它结合了基于扩散的架构生成器、用于候选选择的性能预测器，以及改进的超级网络训练和聚合策略，以加速收敛[6]。

最近基于 NAS 的 PFL 研究取得了显著进展。例如，SPIDER、FEDPNAS 和 PEACHES 实现了跨异构客户端的个性化架构适应。尽管如此，仍存在若干局限性。现有方法专注于通过个性化和处理数据或系统异构性来提高预测性能，但它们很大程度上忽略了在资源受限边缘设备上进行架构搜索和训练的能耗[1,2,3,4,5]。其中许多框架[1,6]依赖于大型超级网络或复杂的 NAS 过程，这引入了