FL-MAESTRO: 面向资源受限联邦学习的多智能体LLM编排

# FL-MAESTRO：面向资源受限联邦学习的多智能体LLM编排系统
来源：https://arxiv.org/html/2608.20518
吴嘉军1、王梓睿1、周佳宇2、叶强1、史蒂夫·德鲁1
所属机构：1加拿大卡尔加里大学电气与软件工程系 2美国密歇根大学信息学院
邮箱：\{jiajun\.wu1, zirui\.wang1, qiang\.ye, steve\.drew\}@ucalgary\.ca; jiayuz@umich\.edu

###### 摘要

在联邦学习（FL）中，通信拓扑是一个运行时变量而非固定的设计选择，因为链路和边缘设备在训练过程中会动态接入和断开。每一轮中，服务器必须同时做出三个耦合的决策：通信拓扑、每客户端资源分配以及用于合并本地更新的聚合规则。近期基于智能体的系统已开始将大语言模型（LLM）引入FL领域，但现有研究要么在系统搭建时运行，要么仅处理单一运行时维度（如客户端选择）。我们提出FL-MAESTRO，这是一个多智能体编排器，通过三个专门的LLM智能体（每个负责一个决策维度）直接做出联合的运行时FL决策。协调器将三个智能体的分析整合为单一决策，并在轮次执行前通过非LLM的可行性检查进行确认。由于编排器接收服务器的预测故障列表，它会保留那些本地更新永远不会被聚合的客户端，从而消除了传统FL在易失性边缘网络上主要的轮次能耗浪费来源。因为客户端状态以自然语言文本配置文件形式读取，该编排器无需为每类设备建立能量模型即可扩展至异构设备类别。在非独立同分布CIFAR-10基准测试中，FL-MAESTRO在达到最强能量感知基线准确率的同时，将轮次浪费能耗从超过三分之一降低至接近零。代码已开源于 https://github\.com/denoslab/FL\-MAESTRO。

###### 关键词：

联邦学习、大语言模型、物联网、边缘计算、网络编排

## I 引言

联邦学习（FL）通过在异构边缘和物联网客户端上训练共享模型，这些客户端在多样化功耗、计算和通信预算下运行[1 (https://arxiv.org/html/2608.20518#bib.bib1),2 (https://arxiv.org/html/2608.20518#bib.bib2)]。图1 (https://arxiv.org/html/2608.20518#S1.F1)展示了一个典型的FL部署场景，其中资源受限的智能手机、智能汽车、无人机和物联网传感器在本地生成大数据，并贡献给中央服务器。每轮中，FL中央服务器选择可用客户端，广播当前全局模型，让每个客户端在其私有数据上执行本地训练，并将生成的本地更新聚合为新的全局模型。

参见标题图1：FL-MAESTRO部署概览。编排器协调客户端间的拓扑、资源分配和聚合决策。真实的边缘部署是动态的。客户端可能因能量耗尽或连接故障而退出，且客户端状态在不同设备间差异巨大。理想情况下，服务器每轮应承诺一组耦合的决策，即通信拓扑、每客户端资源分配和聚合加权。拓扑是最易受此波动影响的维度。无线链路在干扰、移动性和信道竞争下会退化，因此一轮训练所用的连接图可能并非服务器在训练开始时假设的图形。在直接上行链路饱和的情况下，静态星型拓扑在这些条件下不切实际，分层聚合、环形或对等网络等替代方案可能是唯一可行的承载方式。因此，一轮可使用的拓扑取决于哪些客户端能存活下来，而这又取决于为该轮选择的资源分配和聚合规则。拓扑无法离线固定或孤立选择，而传统的FL算法并未将这三个决策联合考虑。在运行时同时做出这些决策需要一个能够对异构客户端状态和结构化约束进行推理的决策者。

大语言模型（LLM）已超越文本生成，成为智能体系统的核心推理引擎。这些系统通过结构化提示与外部工具结合，处理多模态状态并跨多个领域发出结构化决策。FL可以受益于这种智能体决策能力，因为其运行时控制循环覆盖的配置空间远超人工编码规则所能涵盖的范围。近期一些工作开始探索这一方向。T-ELLM[3 (https://arxiv.org/html/2608.20518#bib.bib3)]使用LLM进行客户端选择，同时将资源分配委托给凸优化求解器。Helmsman[4 (https://arxiv.org/html/2608.20518#bib.bib4)]通过协作LLM智能体在设计阶段合成FL系统代码。Li等人[5 (https://arxiv.org/html/2608.20518#bib.bib5)]勾勒了任务专用智能体自动化FL生命周期的更广阔愿景，主要聚焦于策略设计层面，而将每轮运行时场景留作开放问题。

运行时场景之所以具有挑战性，是因为这三个决策紧密耦合。为电池电量丰富的客户端分配更多本地训练轮次，只有在聚合规则认可这种努力时才能提高准确性。传统的FL方法如FedAvg[6 (https://arxiv.org/html/2608.20518#bib.bib6)]、FedProx[7 (https://arxiv.org/html/2608.20518#bib.bib7)]和FedNova[8 (https://arxiv.org/html/2608.20518#bib.bib8)]通过固定两个维度来避免这种纠缠：它们假设星型聚合，为每个客户端设置相同的本地训练轮次，仅调整聚合权重。资源感知扩展如Oort[1 (https://arxiv.org/html/2608.20518#bib.bib1)]调整客户端选择，但继承了相同的固定拓扑。因此，没有传统FL方法能联合考虑拓扑、资源和聚合。其操作表现是轮次能源浪费：边缘电池客户端被接纳参与一轮训练，在本地训练和上行传输中耗尽自身能量，然后在更新被聚合前断开连接。我们称这类客户端为预测故障客户端，因为它们的能量耗尽可根据客户端状态计算得出。三个研究空白促使了我们的工作：第一，尚无先前的智能体系统在考虑预测客户端故障的同时联合编排拓扑、资源和聚合；第二，从开放式LLM基准测试借鉴的重协商模式能否应用于FL尚无定论，因为其运行时动作空间小且可行性可外部检查；第三，尚未有先前的智能体FL系统在开源权重、本地部署的LLM上得到验证，这使得云依赖问题在数据必须保留于本地的部署场景中悬而未决。

为解决这些空白，我们提出FL-MAESTRO，一个通过三个专门的LLM智能体（每个负责一个决策维度）每轮做出联合运行时FL决策的多智能体编排器。拓扑智能体决定客户端如何通信，聚合智能体决定如何合并本地更新，资源智能体决定哪些客户端参与以及每个客户端训练多少。每个智能体基于领域工具进行推理，协调器将三个分析综合为单一决策，并在轮次执行前通过非LLM可行性检查进行验证。编排器直接消费预测故障信号，将边缘电池客户端排除在轮次之外，而非接纳它们并消耗其能量，这正是后文报告的节能机制。由于客户端状态以自然语言文本配置文件形式读取，该编排器还能覆盖原本需要每类能量模型的设备类别，并且运行于自托管的开源权重LLM上，因此无需强依赖云连接。图2 (https://arxiv.org/html/2608.20518#S1.F2)展示了该架构。

我们将技术贡献总结如下：
- •我们提出FL-MAESTRO，一个多智能体编排器，通过三个专门的LLM智能体和外部可行性检查，每轮联合编排拓扑、资源和聚合，解决了FL工作留下的运行时联合决策问题。
- •在非独立同分布FL基准测试中，FL-MAESTRO将轮次浪费能耗从超过三分之一降至接近零，同时达到最强能量感知基线的准确率，消融实验表明轻量级智能体协调对此任务已足够。
- •我们证明，即使使用相对较小的开源权重LLM（如Qwen3.5-35b），FL-MAESTRO也能在不依赖云LLM的情况下达到与云LLM相当的结果。

参见标题图2：FL-MAESTRO架构。三个专门的LLM智能体读取FL状态，查询其领域工具，并交换类型化的约束分析。协调器综合生成联合决策，验证器执行可行性约束。
## II 相关工作

### II-A FL决策子空间

经典FL方法逐一解决编排问题的各个决策维度。FedAvg[6 (https://arxiv.org/html/2608.20518#bib.bib6)]、FedProx[7 (https://arxiv.org/html/2608.20518#bib.bib7)]、FedNova[8 (https://arxiv.org/html/2608.20518#bib.bib8)]和q-FedAvg[9 (https://arxiv.org/html/2608.20518#bib.bib9)]固定星型拓扑和统一的本地训练轮次预算，仅变化聚合加权策略。资源感知方法[10 (https://arxiv.org/html/2608.20518#bib.bib10),2 (https://arxiv.org/html/2608.20518#bib.bib2)]根据运行时客户端状态调整每客户端的本地训练轮次，选择感知方法如Oort[1 (https://arxiv.org/html/2608.20518#bib.bib1)]将选择偏向高实用价值的客户端，但两者均固定拓扑。近期工作延续了这种单轴模式：Vardhan等人[11 (https://arxiv.org/html/2608.20518#bib.bib11)]在数据异构性和网络延迟下联合优化客户端选择，但拓扑和聚合未被触及；而Liu等人[12 (https://arxiv.org/html/2608.20518#bib.bib12)]将面向异构性的拓扑优化形式化为双重NP难问题，却将其与聚合加权和每客户端工作负载解耦。Wu等人[13 (https://arxiv.org/html/2608.20518#bib.bib13)]调查拓扑感知FL，发现许多设计仍拓扑与每客户端资源分配解耦。这些方法均未解决在故障感知约束下拓扑、每客户端资源和聚合三者的联合耦合问题。

### II-B 用于FL决策的LLM智能体

近期工作将LLM智能体应用于FL设置和选择。T-ELLM[3 (https://arxiv.org/html/2608.20518#bib.bib3)]使用LLM为无线FL生成设备选择策略，同时将资源分配委托给凸优化，通过混合管道解决两个维度。Helmsman[4 (https://arxiv.org/html/2608.20518#bib.bib4)]通过多智能体协作在设计阶段合成FL系统代码，而非每轮运行时。ComAgent[14 (https://arxiv.org/html/2608.20518#bib.bib14)]通过顺序多智能体管道处理无线波束成形。Li等人[5 (https://arxiv.org/html/2608.20518#bib.bib5)]勾勒了智能体覆盖FL生命周期的愿景，但留下运行时联合编排需要多少智能体协调的操作性问题。FL-MAESTRO是针对该运行时场景的最小化实现方案。

## III 系统模型与问题形式化

### III-A 联邦学习设定

考虑一个FL系统，其中客户端集合C=\{c1,...,cN\}\\mathcal\{C\}=\\\{c\_\{1\},\\ldots,c\_\{N\}\\\}通过RR轮通信训练全局模型w\\mathbf\{w\}。每个客户端cic\_\{i\}拥有一个配置文件pi=\(bi,μi,βi,di,li,ai\)\\mathbf\{p\}\_\{i\}=\(b\_\{i\},\\mu\_\{i\},\\beta\_\{i\},d\_\{i\},\\boldsymbol\{\\ell\}\_\{i\},a\_\{i\}\)：剩余电量bi∈\[0,1\]b\_\{i\}\\in\[0,1\]，计算能力μi\>0\\mu\_\{i\}\>0，带宽βi\>0\\beta\_\{i\}\>0（Mbps），本地数据大小did\_\{i\}，标签分布li\\boldsymbol\{\\ell\}\_\{i\}，以及聚合能力ai∈\{0,1\}a\_\{i\}\\in\\\{0,1\\\}。配置文件在三个维度上跨轮次动态变化：电量消耗、每轮从剩余电量重新计算的预测故障列表F\(r\)F^\{\(r\)\}，以及由此导致的合格子集C∖F\(r\)\\mathcal\{C\}\\setminus F^\{\(r\)\}的缩减。我们将带宽建模为每客户端标量βi\\beta\_\{i\}，并将移动性、信道质量波动、轮中切换、多用户干扰、OFDMA调度和重传能耗视为轮内常量或已抽象处理。近期无线FL工作[1 (https://arxiv.org/html/2608.20518#bib.bib1),2 (https://arxiv.org/html/2608.20518#bib.bib2)]在我们使用的每客户端分配原语上叠加了显式信道模型，因此这些扩展可与编排层组合。统一模式测试平台隔离了编排机制，第V-E节 (https://arxiv.org/html/2608.20518#S5.SS5)讨论了多类部署。

### III-B 三个耦合的决策维度

在每轮rr中，编排器针对活跃客户端子集C\+⊆C∖F\(r\)\\mathcal\{C\}^\{\+\}\\subseteq\\mathcal\{C\}\\setminus F^\{\(r\)\}做出三个耦合的决策，其中F\(r\)F^\{\(r\)\}是服务器在轮rr的预测故障列表，意味着不在F\(r\)F^\{\(r\)\}中的客户端默认具有电量资格并参与，而被标记的客户端可能被编排器排除以防止轮中因电量故障造成能源浪费。预测故障列表通过F\(r\)=\{i:Ei\(τdefault,rdefault\)\>bi\}F^\{\(r\)\}=\\\{i:E\_\{i\}\(\\tau\_\{\\text\{default\}\},\\mathbf\{r\}\_\{\\text\{default\}\}\)\>b\_\{i\}\\\}从FL状态确定性计算得出，其中τdefault=star\\tau\_\{\\text\{default\}\}=\\text\{star\}且rdefault=\(ei=5,βialloc=βi,γi=1\)\\mathbf\{r\}\_\{\\text\{default\}\}=\(e\_\{i\}=5,\\beta\_\{i\}^\{\\text\{alloc\}\}=\\beta\_\{i\},\\gamma\_\{i\}=1\)是FedAvg类基线假设的默认工作负载。F\(r\)F^\{\(r\)\}因此精确标记了在未经修改的FedAvg下会于轮中失败的客户端，使得F-感知与F-非感知编排器之间的比较明确无歧义。

通信拓扑记为τ\(r\)∈T=\{star,hier,ring,P2P\}\\tau^\{\(r\)\}\\in\\mathcal\{T\}=\\\{\\text\{star\},\\text\{hier\},\\text\{ring\},\\text\{P2P\}\\\}，其每轮通信成本为

CommCost\(τ,\|C\+\|\)=\{2\|C\+\|Mγτ=star2\|C\+\|Mγ\+2AMγτ=hier2\|C\+\|Mγτ=ringk\|C\+\|Mγτ=P2P\\text\{CommCost\}\(\\tau,\|\\mathcal\{C\}^\{\+\}\|\)=\\begin\{cases\}2\\,\|\\mathcal\{C\}^\{\+\}\|\\,M\\gamma&\\tau=\\text\{star\}\\\\ 2\\,\|\\mathcal\{C\}^\{\+\}\|\\,M\\gamma\+2AM\\gamma&\\tau=\\text\{hier\}\\\\ 2\\,\|\\mathcal\{C\}^\{\+\}\|\\,M\\gamma&\\tau=\\text\{ring\}\\\\ k\\,\|\\mathcal\{C\}^\{\+\}\|\\,M\\gamma&\\tau=\\text\{P2P\}\\end\{cases\}\(1\)

其中MM是模型字节大小，γ∈\(0,1\]\\gamma\\in\(0,1\]是压缩比，AA是分层情况下的中间聚合器数量，kk是对等情况下的八卦邻居大小。因子2对称计算上行链路和下行链路。分层行假设A≪\|C\+\|A\\ll\|\\mathcal\{C\}^\{\+\}\|，且除显式聚合器-服务器项外集群内开销可忽略，对等行计算每个FL轮次中每个客户端跨kk邻居的一轮八卦通信。每客户端资源分配记为ri\(r\)=\(ei,βialloc,γi\)\\mathbf\{r\}\_\{i\}^\{\(r\)\}=\(e\_\{i\},\\beta\_\{i\}^\{\\text\{alloc\}\},\\gamma\_\{i\}\)，其中i∈C\+i\\in\\mathcal\{C\}^\{\+\}，eie\_\{i\}是本地训练轮次数，βialloc\\beta\_\{i\}^\{\\text\{alloc\}\}是分配带宽，γi\\gamma\_\{i\}是每客户端压缩比。聚合加权记为σ\(r\)∈\{uniform,data\-size,