面向算力网络的异构大语言模型具身智能体通信高效数字孪生协同

# 面向异构LLM具身智能体在计算力网络中的通信高效数字孪生协调 来源：https://arxiv.org/html/2607.09330

Nuocheng Yang,*IEEE 学生会员*，Sihua Wang，Zihan Chen,*IEEE 会员*，Tony Q. S. Quek, , 和 Changchuan Yin,*IEEE 高级会员*

N. Yang, S. Wang 和 C. Yin 与北京先进信息网络实验室以及网络系统架构与融合北京市重点实验室，北京邮电大学，北京 100876，中国（电子邮件：{yangnuocheng, sihuawang, ccyin}@bupt.edu.cn）。
Z. Chen 和 T. Q. S. Quek 与新加坡科技设计大学信息系统技术与设计支柱，新加坡 487372（电子邮件：[email protected], [email protected]）。

###### 摘要

由异构大语言模型（LLM）驱动的具身智能体团队正被广泛部署于物理人工智能领域，如智能工厂、仓储和服务机器人。为了实现此类智能体团队间的协作，需要高效的协调机制，该机制能在有限的网络资源下可靠运行。然而，现有的基于多轮自然语言对话的异构LLM智能体协调框架引入了三个相互耦合的挑战。首先，智能体间的对话会产生随团队规模快速增长的开销。其次，协调质量受到智能体团队LLM异构能力的制约。第三，智能体可能因迭代协商而遭受动作延迟。为解决这些挑战，我们提出了 LDT-Coord，一种基于轻量级数字孪生（DT）的网络化协调框架。具体来说，每个智能体独立选择其意图动作，并将动作决策和针对共享资源的结构化时间约束报告给 DT 服务器，从而将协调性能与自然语言推理能力解耦。然后，DT 执行一种无需训练、基于规则的管理器算法来解决智能体间的冲突，并返回协调指令以防止此类冲突。为了进一步降低通信开销，我们将智能体报告控制建模为受约束的部分可观察马尔可夫决策过程（C-POMDP），并使用 PPO-Lagrangian 算法求解。仿真结果表明，LDT-Coord 实现了与传统协调方法相当的任务成功率，同时将通信开销降低了 70 倍以上，并在 LLM 异构性下保持鲁棒性。

## I. 引言

大语言模型（LLM）在理解、推理和生成方面展现出强大能力[1](https://arxiv.org/html/2607.09330#bib.bib1),[2](https://arxiv.org/html/2607.09330#bib.bib2),[3](https://arxiv.org/html/2607.09330#bib.bib3)，这推动了具身智能体框架的发展，使其能够在物理人工智能世界中进行感知、反思和行动[4](https://arxiv.org/html/2607.09330#bib.bib4),[5](https://arxiv.org/html/2607.09330#bib.bib5),[6](https://arxiv.org/html/2607.09330#bib.bib6)。与传统的集中式框架（单一服务器控制每个智能体）相比，具身智能体框架能够实现分布式智能，从而在动态环境中提高响应性、可扩展性和鲁棒性。随着这些智能体从单一模型扩展到团队，成员可能运行具有异构能力的 LLM，以适应每个智能体的任务和资源预算[7](https://arxiv.org/html/2607.09330#bib.bib7),[8](https://arxiv.org/html/2607.09330#bib.bib8),[9](https://arxiv.org/html/2607.09330#bib.bib9),[10](https://arxiv.org/html/2607.09330#bib.bib10)。为实现此类异构智能体团队的高效协调，一些工作侧重于通过多轮自然语言（NL）对话促进信息交换[11](https://arxiv.org/html/2607.09330#bib.bib11),[12](https://arxiv.org/html/2607.09330#bib.bib12),[13](https://arxiv.org/html/2607.09330#bib.bib13)。然而，基于相互理解彼此 NL 输出来构建协调会暴露出三个问题。首先，在通信层面，多轮 NL 协商的有效载荷随团队规模和轮次快速增长，引入了昂贵的通信成本。其次，在异构性层面，NL 对话的质量受到短板效应的影响，可能受到最弱 LLM 参与者的显著影响。最后，在机制层面，智能体需要在行动前进行对话，从而引入了协作延迟。

现有工作沿着三条技术路线解决这些问题。为了解决通信瓶颈，文献[14](https://arxiv.org/html/2607.09330#bib.bib14),[15](https://arxiv.org/html/2607.09330#bib.bib15),[16](https://arxiv.org/html/2607.09330#bib.bib16)提出了一种共享状态和黑板方法，将网状对话转换为对共享内存的星形读写。然而，共享介质仍然是 NL 文本，因此由最弱 LLM 智能体编写的模糊描述可能继续污染共享状态，从而降低协作效率和性能。为了解决异构性瓶颈，文献[17](https://arxiv.org/html/2607.09330#bib.bib17),[18](https://arxiv.org/html/2607.09330#bib.bib18),[19](https://arxiv.org/html/2607.09330#bib.bib19),[20](https://arxiv.org/html/2607.09330#bib.bib20)研究了多智能体强化学习通信路线，学习紧凑的消息向量以绕过 NL。为了解决机制瓶颈，文献[21](https://arxiv.org/html/2607.09330#bib.bib21),[22](https://arxiv.org/html/2607.09330#bib.bib22),[23](https://arxiv.org/html/2607.09330#bib.bib23)引入了一个集中式 LLM 规划器，为所有智能体生成联合动作。尽管这种架构可以通过单个强大协调器避免动作冲突，但它将分布式智能转向集中式协调，随着智能体数量增长，会面临可扩展性困难[24](https://arxiv.org/html/2607.09330#bib.bib24)。

与此同时，数字孪生（DT）作为信息空间中物理实体的高保真数字镜像[25](https://arxiv.org/html/2607.09330#bib.bib25),[26](https://arxiv.org/html/2607.09330#bib.bib26),[27](https://arxiv.org/html/2607.09330#bib.bib27)。通过连续状态同步和双向交互，它已成为网络化系统中感知、预测和控制的统一载体[28](https://arxiv.org/html/2607.09330#bib.bib28),[29](https://arxiv.org/html/2607.09330#bib.bib29)。在多智能体设置中，它进一步被用作团队状态的集中镜像和重构工具，将分散的局部观测和动作聚合为一致的全局视图[30](https://arxiv.org/html/2607.09330#bib.bib30),[31](https://arxiv.org/html/2607.09330#bib.bib31)。然而，现有的基于 DT 的方案[30](https://arxiv.org/html/2607.09330#bib.bib30),[31](https://arxiv.org/html/2607.09330#bib.bib31)仍然采用中央服务器的架构，其中 DT 主动为每个智能体生成计划，类似于[21](https://arxiv.org/html/2607.09330#bib.bib21),[22](https://arxiv.org/html/2607.09330#bib.bib22),[23](https://arxiv.org/html/2607.09330#bib.bib23)。这引入了不可控的延迟和计算开销，因为 DT 必须从头开始重新理解物理世界，尽管智能体已经形成了对周围环境的局部理解。

为填补这一空白，本文提出了轻量级数字孪生协调（LDT-Coord），它采用轻量级 DT 作为协调中间件，以实现由异构 LLM 驱动的具身智能体团队的高效协作。具体来说，每个具身智能体自主感知、反思、行动，并将其选择的动作以及共享资源上的结构化时间约束报告给 DT 进行协调。因此，轻量级 DT 不需要像传统方法那样从头理解环境，从而节省了计算和通信资源。相反，它使用一个统一的轻量级管理器，在共享的结构化协调原语集上运行，通过规则检测和避免协作过程中的潜在冲突，并返回高效的协调指令。

本文的主要贡献总结如下：

- • **具有结构化通信原语的轻量级 DT 协调框架。** 我们使用轻量级 DT 作为异构 LLM 智能体的协调中间件，并定义了结构化原语，即动作元组、类型约束声明和短下行指令，将协调从相互理解语言转变为报告结构化约束，并将协调质量与报告者的语言能力解耦。
- • **用于原子任务冲突避免的免训练统一基于规则的管理器。** 我们将互斥、同步和依赖冲突类型形式化为类型化协调规则，并设计一个统一的管理器，迭代应用直至收敛，以找到最大的一致可执行集，无需任何训练。
- • **用于延迟约束报告的学习型通信选择层。** 我们将每一步中哪些智能体报告决策建模为在每步延迟约束下的受约束部分可观察马尔可夫决策过程（C-POMDP），并使用 PPO-Lagrangian 求解，从而大幅压缩状态报告通信，同时保持协调质量几乎无损。

实验表明，与传统的智能体间 NL 对话协调策略相比，LDT-Coord 在受限空间排序任务上取得了相当的成功率，同时将通信降低了 70 倍以上，并且在不同规模的异构团队配置下保持鲁棒性。

## II. 相关工作

### II-A 基于自然语言对话的多智能体协调

近年来，许多采用 NL 对话路线的工作被研究，以实现 LLM 智能体的协作。文献[11](https://arxiv.org/html/2607.09330#bib.bib11)提出了一种基于对话的方案，让多个机械臂通过多轮 NL 交换讨论任务分配和无碰撞路径。文献[12](https://arxiv.org/html/2607.09330#bib.bib12)引入了一个可对话智能体框架，通过群聊管理器编排多智能体对话流。文献[13](https://arxiv.org/html/2607.09330#bib.bib13)提出了一种程序驱动方案，将标准化操作程序编码到智能体间的通信中，以减少级联错误。文献[14](https://arxiv.org/html/2607.09330#bib.bib14)系统化了一种共享内存架构，使智能体通过读写黑板而非成对交谈来协调。文献[32](https://arxiv.org/html/2607.09330#bib.bib32)通过角色扮演对话机制驱动两个智能体协作。文献[33](https://arxiv.org/html/2607.09330#bib.bib33)将软件开发组织为多角色对话流水线。这些框架从智能体通过语言输出互相理解的角度进行协调。在异构部署下，通信质量由最弱方决定。此外，意图未显式共享，因此每个智能体必须通过他人的文本推断其计划。为了改进对话本身，另一条路线引入了反思、辩论和交织推理。文献[34](https://arxiv.org/html/2607.09330#bib.bib34)提出了一种自我反思方案，让智能体通过口头自我反馈迭代改进决策。文献[35](https://arxiv.org/html/2607.09330#bib.bib35)提出了一种多方论证方案，通过智能体间的辩论提高事实性和推理能力。文献[36](https://arxiv.org/html/2607.09330#bib.bib36)提出了一种推理-行动方案，将推理与行动和环境反馈交织，以稳定具身决策。文献[37](https://arxiv.org/html/2607.09330#bib.bib37)提出了一种记忆驱动方案，通过 NL 记忆和反思模拟可信行为。文献[38](https://arxiv.org/html/2607.09330#bib.bib38)引入了一种课程方案，用于开放世界中的持续技能获取。文献[39](https://arxiv.org/html/2607.09330#bib.bib39)提出了一种动态智能体网络，根据贡献选择智能体组成团队。这些方法提高了对话质量，但花费了许多时间步骤用于不产生动作的协商，而弱智能体持续污染共享上下文。更根本的是，这些框架通常采用网状对话拓扑。因此，协商链接、有效载荷和延迟随团队规模快速增长，这在异构、链路受限的部署中尤其严重。

### II-B 集中式和分层式多机器人任务协调

为了规避网状对话的固有不完善，一些工作转向集中式和分层式协调。中央规划器以统一的方式为所有智能体生成动作。文献[21](https://arxiv.org/html/2607.09330#bib.bib21)提出了一种集中式编排方案，在异构智能体团队中分解和分配子任务。文献[40](https://arxiv.org/html/2607.09330#bib.bib40)引入了一种混合方案，将 LLM 与经典符号规划器耦合，以获得可行的长视界规划。文献[41](https://arxiv.org/html/2607.09330#bib.bib41)提出了一种语言到运动方案，从 NL 指令生成可执行的运动序列。这些工作从集中式规划的角度消除了冲突，但其协调质量完全取决于中央模型的能力。它们还需要将所有观测上传到中心，因此通信和计算规模随着团队规模增长而扩展性差。经典的多机器人任务分配则从组合优化和调度的角度表征协调。文献[42](https://arxiv.org/html/2607.09330#bib.bib42)引入了多机器人任务分配的正式分类和分析。文献[43](https://arxiv.org/html/2607.09330#bib.bib43)提出了一种基于 LLM 智能体的人机协作装配规划方法。这些方法默认假设同质能力和充足通信，并不针对受限链路下异构 LLM 团队的免训练协调。因此，集中式路线用一个强大的中央模型来换取协调质量，这与本文追求的分布式自主性和异构鲁棒性目标背道而驰。

### II-C 多智能体通信与学习型协调

为了规避臃肿的协商有效载荷和随发送者模型变化的消息含义，多智能体强化学习广泛探索了学习型通信路线。文献[44](https://arxiv.org/html/2607.09330#bib.bib44)提出了一种可微通信方案，通过跨智能体共享通道反向传播来学习连续消息。文献[45](https://arxiv.org/html/2607.09330#bib.bib45)提出了一种值分解方案，通过单调混合支持集中式训练和分散式执行。文献[46](https://arxiv.org/html/2607.09330#bib.bib46)引入了多级通信