MultiUAV-Plat：面向大语言模型的多无人机协同任务规划平台、基准测试与框架

# MultiUAV-Plat：面向大语言模型的多无人机协同任务规划平台、基准测试与框架

来源：https://arxiv.org/html/2606.31073
\\credit

本研究的概念化、方法论、软件实现

1\]organization=国防科技大学信息系统工程国家重点实验室，addressline=德雅路，city=长沙，postcode=410073，state=湖南，country=中国

\\cormark

\[1\]\\cortext\[cor1\]通讯作者

李庆林liqinglin@nudt\.edu\.cn臧跃超zangyuechao@nudt\.edu\.cn黄学琴hxq@nudt\.edu\.cn付一佳fuyijia20@nudt\.edu\.cn朱成zhucheng@nudt\.edu\.cn

###### 摘要

大语言模型（LLM）为高层级机器人任务规划提供了有前景的接口，但其在多无人机协同中的应用仍难以系统评估。现有无人机模拟器主要强调动力学、感知或低层控制，而现有的LLM智能体基准测试很少涉及部分可观测性、空间覆盖、无人机分配和多机协调等空中机器人约束。为填补这一空白，我们提出MultiUAV-Plat，一个轻量级、易用、面向LLM智能体的多无人机协同任务规划仿真平台。该平台提供简洁的RESTful API、面向智能体的观测、基于角色的信息访问、隐藏验证逻辑以及可选的2D/3D可视化，使智能体能够通过现实工具交互而非特权模拟器访问来完成任务。基于该平台构建的MultiUAV-Plat基准测试包含75个任务会话、1500个自然语言任务和9396个验证检查点，涵盖目标分配、区域搜索以及区域分配与巡逻场景。我们进一步提出Agent4Drone，一个面向特定任务的LLM智能体框架，将多无人机行为结构化为记忆、观测、任务理解、规划、执行和验证六个模块。在完整的配对基准测试比较中，Agent4Drone实现了57.9%的任务通过率、74.6%的平均任务检查通过率和72.0%的全局检查通过率，显著优于ReAct基线（分别为30.6%、47.9%和43.1%）。Agent4Drone还将总任务失败率从32.4%降至12.9%。这些结果表明，MultiUAV-Plat和MultiUAV-Plat基准测试为研究LLM驱动的多无人机自主性在现实信息和执行约束下提供了可复现的基础。

###### 关键词:

多无人机协同\\sepLLM智能体\\sep无人机任务规划\\sep多无人机协同基准测试

## 1 引言

多无人机（multi-UAV）系统已成为广泛现实应用中的变革性技术，包括环境监测、空中搜索、应急响应和物流。其快速覆盖、灵活部署和可扩展感知能力使其在民用和工业领域不可或缺。尽管应用日益广泛，多无人机系统的控制和协调仍然极具挑战性。现有的任务规划和路径规划研究已为目标分配、路径规划、覆盖、避障和能量感知协调奠定了坚实基础[24（https://arxiv.org/html/2606.31073#bib.bib24）、20（https://arxiv.org/html/2606.31073#bib.bib20）、9（https://arxiv.org/html/2606.31073#bib.bib9）]。然而，传统方法通常依赖专家设计的问题表述和劳动密集型的手动控制流程，这往往导致效率次优、适应性有限和操作开销高。随着任务复杂度的增加，这些局限性更加突出。

大语言模型（LLM）的出现为智能多无人机协调提供了有前景的范式转变。凭借强大的自然语言理解能力、广泛的世界知识以及日益强大的工具使用接口，基于LLM的智能体在推理任务结构、规划高层策略和执行复杂动作序列方面展示了显著潜力[34（https://arxiv.org/html/2606.31073#bib.bib34）、1（https://arxiv.org/html/2606.31073#bib.bib1）、11（https://arxiv.org/html/2606.31073#bib.bib11）]。最近的多机器人和多无人机研究进一步表明，LLM能够分解高层指令、形成联盟、协调多个机器人，并支持自然语言空中控制[8（https://arxiv.org/html/2606.31073#bib.bib8）、15（https://arxiv.org/html/2606.31073#bib.bib15）、14（https://arxiv.org/html/2606.31073#bib.bib14）、17（https://arxiv.org/html/2606.31073#bib.bib17）]。然而，这些能力是否能迁移到需要通过受限机器人接口进行闭环交互的多无人机任务中仍不清楚。一个现实的LLM控制的无人机智能体不能假设拥有完整的模拟器状态：它必须理解自然语言目标、选择合适的无人机、主动收集缺失的局部观测、发出可执行的API调用、协调多个车辆，并在隐藏任务条件下验证进度。这引出了本文的核心研究问题：当LLM智能体通过受限的无人机API、部分局部感知和隐藏任务验证器运行时，如何系统评估其在多无人机协同任务规划中的表现？

参见说明参见说明2D概览视图3D可视化视图图1：用于无人机任务规划的MultiUAV-Plat平台视图。2D和3D视图表示相同的底层任务状态。2D视图设计用于快速概览、场景检查和任务级空间推理，而3D视图设计用于无人机执行和环境几何的直观可视化。

为填补这一空白，我们提出MultiUAV-Plat，一个轻量级、易用、开放且可扩展的仿真平台，专门用于LLM智能体驱动的多无人机协同任务规划与控制。图1（https://arxiv.org/html/2606.31073#S1.F1）显示了同一任务状态下平台同步的2D概览和3D可视化视图。与主要暴露物理、感知和控制接口的高保真无人机模拟器[22（https://arxiv.org/html/2606.31073#bib.bib22）、25（https://arxiv.org/html/2606.31073#bib.bib25）、19（https://arxiv.org/html/2606.31073#bib.bib19）]不同，该平台提供了统一的、对LLM友好的API接口，智能体可通过该接口发出无人机动作、接收面向智能体的观测，并根据变化的任务状态迭代调整计划，而无需与模拟器内部或底层飞行控制代码交互。通过抽象底层系统集成同时保留闭环动作控制，MultiUAV-Plat使研究人员不仅能够评估高层规划，还能评估智能体的执行、反馈处理和重规划能力。据我们所知，MultiUAV-Plat是首个面向LLM智能体的、用于可执行多无人机协同任务规划的仿真和基准测试平台。它通过受限的无人机API、部分局部观测、闭环执行和隐藏的任务级验证器来评估智能体。基准测试涵盖多种难度级别，从简单的API调用测试到具有挑战性的单无人机任务和完全协同的多无人机任务。

除了平台和基准测试，我们还进一步提出Agent4Drone，一个专门用于多无人机协同任务规划的框架。为增强LLM在不同任务场景下的泛化能力，Agent4Drone提供结构化的指导，帮助LLM智能体分解任务、管理工具调用和更有效地协调多架无人机。实验结果表明，在完整基准测试上，Agent4Drone的任务通过率比ReAct提高了27.33个百分点。这建立了一个明确的面向任务的框架，并为未来LLM控制的空中机器人研究提供了实用起点。

总之，本工作的贡献包括：（1）MultiUAV-Plat，一个轻量级、易用、面向LLM智能体的多无人机协同任务规划仿真平台；（2）MultiUAV-Plat基准测试，一套用于在受限API访问、部分局部感知和隐藏验证条件下可复现评估LLM智能体的基准套件；（3）Agent4Drone，一个参考性的LLM智能体框架，附有与ReAct的完整配对基准测试比较。这些贡献共同为大规模语言模型与自主多机器人系统交叉领域的新兴研究方向奠定了基础。

## 2 相关工作

### 2.1 多无人机任务规划

多无人机系统的研究长期以来将任务规划视为任务分配、路径规划、覆盖、协调和约束满足的耦合问题。最近关于多无人机任务规划[24（https://arxiv.org/html/2606.31073#bib.bib24）]和多无人机路径规划[20（https://arxiv.org/html/2606.31073#bib.bib20）]的综述总结了一系列方法，包括数学规划、启发式和元启发式方法、基于协商的分配以及基于学习的方法。这些方法为目标分配、区域覆盖、碰撞避免、能量感知路由和协调执行提供了重要基础。Kong等人[9（https://arxiv.org/html/2606.31073#bib.bib9）]进一步将动态障碍物和部分可观测条件下的同时目标分配和路径规划形式化为一个学习问题，利用深度强化学习结合分配和运动决策。然而，大多数现有研究假设预定义的优化目标、专门的控制器或对结构化状态信息的直接访问。这留下了评估基于语言的智能体能否理解自然语言任务、主动收集缺失信息、使用受限平台API以及通过闭环工具交互协调多架无人机的问题。

### 2.2 无人机与集群仿真平台

仿真平台是无人机研究的另一个重要前提。通用机器人和无人机模拟器，如AirSim[22（https://arxiv.org/html/2606.31073#bib.bib22）]、Flightmare[25（https://arxiv.org/html/2606.31073#bib.bib25）]和gym-pybullet-drones[19（https://arxiv.org/html/2606.31073#bib.bib19）]，提供高保真视觉模拟、快速四旋翼动力学、强化学习接口和多智能体控制支持。Chen等人[3（https://arxiv.org/html/2606.31073#bib.bib3）]进一步比较了开源无人机集群仿真环境，如Webots、Gazebo、CoppeliaSim、ARGoS、MORSE及相关工具，在真实性、传感器、性能、编程接口和集群支持方面进行了对比。这些平台显著推进了算法开发和仿真到现实的实验，但其主要抽象仍然围绕物理、感知、控制或强化学习任务。相比之下，面向LLM的多无人机研究需要不同的接口层：自然语言任务指令、面向智能体的状态边界、简单的工具调用API、隐藏的验证逻辑以及可复现的基准测试会话，以评估任务级推理而不仅仅是底层控制。

表1：与代表性模拟器、基准测试和框架的比较。“隐藏任务验证”表示自动平台侧对可执行任务结果进行验证，而非离线问答、对话合规性或仅低层奖励。

平台 / 基准 / 框架 | 领域 | 面向LLM | 多智能体 | 无人机/空中 | 部分观测 | 工具/API动作 | 隐藏任务验证
--- | --- | --- | --- | --- | --- | --- | ---
AirSim[22] | 无人机/自动驾驶模拟 | 否 | 部分 | 是 | 否 | 是 | 否
Flightmare[25] | 四旋翼模拟 | 否 | 部分 | 是 | 否 | 是 | 否
gym-pybullet-drones[19] | 多无人机强化学习 | 否 | 是 | 是 | 否 | 是 | 基于奖励
ALFWorld[23] | 家庭具身AI | 是 | 否 | 否 | 部分 | 是 | 是
WebShop[32] | 网页交互 | 是 | 否 | 否 | 部分 | 是 | 是
AgentBench[13] | 通用LLM智能体 | 是 | 部分 | 否 | 部分 | 是 | 混合
EmbodiedBench[31] | 多模态具身AI | 是 | 否 | 否 | 是 | 是 | 是
SafeAgentBench[35] | 安全具身规划 | 是 | 是 | 否 | 是 | 是 | 是
MAP-THOR[16] | 多智能体家庭规划 | 是 | 是 | 否 | 是 | 是 | 是
SMART-LLM[8] | 多机器人任务规划 | 是 | 是 | 否 | 否 | 否 | 数据集
RoCo[15] | 多机器人协同 | 是 | 是 | 否 | 部分 | 是 | 基于任务
AirCopBench[36] | 多无人机感知 | 是 | 是 | 是 | 是 | 否 | 基于问答
MM-UAVBench[4] | 无人机多模态推理 | 是 | 否 | 是 | 是 | 否 | 基于问答
UAVBench[5] | 无人机场景数据集 | 是 | 部分 | 是 | 否 | 否 | 风险标签
α³-Bench[6] | 无人机网络化智能体 | 是 | 是 | 是 | 部分 | 是 | 对话式
提示驱动多无人机规划[14] | 多无人机任务规划 | 是 | 是 | 是 | 部分 | 否 | 否
UAV-CodeAgents[21] | 无人机任务生成 | 是 | 是 | 是 | 部分 | 部分 | 否
TACOS[17] | 多无人机自然语言控制 | 是 | 是 | 是 | 否 | 是 | 演示
Web-of-Drones[7] | 无人机集群执行 | 是 | 是 | 是 | 否 | 是 | 否
MultiUAV-Plat | 多无人机任务规划 | 是 | 是 | 是 | 是 | 是 | 是

### 2.3 LLM智能体与具身基准测试

大语言模型近来被评估为结合推理、工具使用和环境反馈的交互式智能体。基准测试如ALFWorld[23（https://arxiv.org/html/2606.31073#bib.bib23）]和WebShop[32（https://arxiv.org/html/2606.31073#bib.bib32）]在交互式家庭或网页环境中评估基于语言的智能体，AgentBench[13（https://arxiv.org/html/2606.31073#bib.bib13）]通过跨多个决策场景测量LLM智能体来拓展这一方向。最近的具身智能体基准测试进一步评估多模态具身推理、安全感知任务规划以及部分可观测条件下的多智能体规划，包括EmbodiedBench[31（https://arxiv.org/html/2606.31073#bib.bib31）]、SafeAgentBench[35（https://arxiv.org/html/2606.31073#bib.bib35）]和MAP-THOR[16（https://arxiv.org/html/2606.31073#bib.bib16）]。经典的路径规划资源如MovingAI基准测试[27（https://arxiv.org/html/2606.31073#bib.bib27）]和MAPF基准测试[26（https://arxiv.org/html/2606.31073#bib.bib26）]提供了广泛使用的基于网格和多智能体路径规划的地图和场景用于算法比较，但它们的重点在于路径规划实例，而非面向LLM的、部分可观测的、可执行的无人机任务。

最近的空中智能体基准测试更接近多无人机设置。AirCopBench[36（https://arxiv.org/html/2606.31073#bib.bib36）]评估多无人机协同具身感知与推理能力，适用于多模态大语言模型。MM-UAVBench[4（https://arxiv.org/html/2606.31073#bib.bib4）]评估真实低空无人机数据上的多模态感知、认知和规划能力。UAVBench[5（https://arxiv.org/html/2606.31073#bib.bib5）]提供结构化的无人机场景和多项选择推理任务，而α³-Bench[6（https://arxiv.org/html/2606.31073#bib.bib6）]评估对话式无人机任务。