代理AI在安全关键多无人机系统中的挑战与机遇

# 面向安全关键型多无人机系统的智能体人工智能：挑战与机遇
来源：https://arxiv.org/html/2608.21444
\[orcid=0000\-0002\-7851\-7339, email=merritt@cs\.aau\.dk, url=https://www\.ixd\.net, \]\*1

\[orcid=0000\-0002\-3312\-7062, email=alejp@mmmi\.sdu\.dk, \]

\[orcid=0000\-0002\-4046\-1528, email=juanba@mmmi\.sdu\.dk, \]

\[orcid=0000\-0003\-4512\-400X, email=mtoh@cs\.aau\.dk, \]

\[orcid=0000\-0002\-9994\-2908, email=andc@mmmi\.sdu\.dk, url=https://anderslyhnechristensen\.com/, \]

Alejandro Jarabo\-PeñasJuan Bravo\-ArrabalMaria\-Theresa BahodiAnders Lyhne Christensen

###### 摘要

多无人机系统正日益被部署于搜索与救援（SAR）和关键基础设施监控等安全关键任务中。然而，其实际应用不仅受限于自主性能，更受制于将智能体行为融入专业工作的困难：操作者必须理解、信任并在不确定性、时间压力和问责环境下管控自动化。本文综合了两项正在进行工作的经验与教训：NAMUR探索在SAR和消防情境中利用大语言模型（LLM）支持的机器人控制；PERSIST探索用于关键基础设施站点监控与安全的持久无人机作业。我们主张，应将智能体人工智能视为一个社会技术设计问题来处理，其中界面、监督机制和评估实践与算法同等重要。我们概述了一种以人为中心、参与式、迭代的研究方法，旨在揭示利益相关者需求，通过连续原型塑造智能体能力，并为其他安全关键场景产出可迁移的概念验证系统和评估策略。

###### 关键词

智能体人工智能 ,多无人机系统 ,以人为中心的人工智能 ,参与式设计 ,安全关键工作 ,关键基础设施 ,搜索与救援

††copyrightyear:2026††copyright:Copyright for this paper by its authors\. Use permitted under Creative Commons License Attribution 4\.0 International \(CC BY 4\.0\)\.††venue:Joint Proceedings of the ACM Intelligent User Interfaces \(IUI\) Workshops 2026, March 23\-26, 2026, Paphos, Cyprus††address:Human\-centered Computing \(Aalborg University\), 300 Selma Lagerløfs Vej, Aalborg Øst, 9220, Denmark††address:The Maersk Mc\-Kinney Moller Institute \(University of Southern Denmark\), Campusvej 55, 5230, Odense, Denmark††corresp:Corresponding author\.## 1引言

多机器人与多无人机系统为安全关键工作带来了新能力，包括应急响应14 (https://arxiv.org/html/2608.21444#bib.bib11)以及关键基础设施的安防与巡检15 (https://arxiv.org/html/2608.21444#bib.bib19)。与此同时，这些领域提出了严格的要求19 (https://arxiv.org/html/2608.21444#bib.bib3);26 (https://arxiv.org/html/2608.21444#bib.bib4);10 (https://arxiv.org/html/2608.21444#bib.bib5)：作业具有不确定性、问责要求高，且工作流程受专业角色、规程和风险管理的约束。在此类环境中，自主性仅在技术上“有效”通常是不够的；它还必须是可理解、可靠、可管控和可采纳的。

将多个机器人作为一个*单一作业系统*来控制，放大了这些需求6 (https://arxiv.org/html/2608.21444#bib.bib18);2 (https://arxiv.org/html/2608.21444#bib.bib22);7 (https://arxiv.org/html/2608.21444#bib.bib27)。随着机队规模扩大，传统的一操作者/一载具模型不再适用20 (https://arxiv.org/html/2608.21444#bib.bib17)：协调开销增加，维持共享态势感知变得更困难，微小的不确定性可能级联引发安全问题（例如，任务优先级冲突、冲突消解问题，或对谁批准了什么的权责模糊）。因此，操作者需要在不同粒度层级进行交互18 (https://arxiv.org/html/2608.21444#bib.bib26)。这可能包括为集群设定任务层级的意图和约束，同时仍能在情况变化时检查、重新定向或接管特定无人机或子集群。

智能体人工智能和大语言模型（LLMs）的最新进展重新激发了人们对自然语言任务分配、混合主动规划以及机器人自主执行的兴趣27 (https://arxiv.org/html/2608.21444#bib.bib12)。然而，这些能力带来了新的交互挑战23 (https://arxiv.org/html/2608.21444#bib.bib20)：智能体意图应如何表示；操作者如何监督、批准和覆盖决策；在关键的现场作业复杂现实中，如何保证正确的行为。

本文结构如下。第2节 (https://arxiv.org/html/2608.21444#S2) 介绍了两个驱动性项目背景——NAMUR（SAR与消防）和PERSIST（持久关键基础设施监控）——并提炼出多无人机控制的共享交互需求。第3节 (https://arxiv.org/html/2608.21444#S3) 综合了我们先前现场工作的经验，以框架化主要机遇和安全关键张力，这些促使了*可治理*的智能体自主性，并概述了我们与利益相关者共同塑造此类系统的参与式、迭代方法。基于这些需求，第4节 (https://arxiv.org/html/2608.21444#S4) 提出了一种基于LLM的多智能体系统（LLM-MAS），该系统将自然语言意图分解为可审查的子任务，通过确定性工具约束执行，并强制实施操作者预览与批准。最后，第5节 (https://arxiv.org/html/2608.21444#S5) 总结了其对未来安全关键工作中智能体多无人机系统的影响。

## 2项目背景与目标

参见标题图1：NAMUR概念示意图：一个支持“闭环推理”的LLM驱动自然语言交互系统，用于支持应急响应中的人类任务分配与机器人控制。
我们的立场基于两个互补的项目，它们依赖于智能体人工智能应对不同的安全关键条件：（i）时间紧迫的应急响应（NAMUR）和（ii）关键基础设施的长期持久作业（PERSIST）。我们从作业环境、利益相关者、目标以及由此产生的智能体人工智能问题等方面概括每个背景。

### 2\.1NAMUR：面向SAR与消防的智能体支持

NAMUR研究LLM支持的、智能体化的交互如何帮助团队在应急响应工作（如搜索与救援及消防支持）中协调多无人机系统（见图1 (https://arxiv.org/html/2608.21444#S2.F1)）。作业环境的特点是时间压力、动态危险、不完整且快速变化的情境信息，以及跨角色协调的强烈需求14 (https://arxiv.org/html/2608.21444#bib.bib11);9 (https://arxiv.org/html/2608.21444#bib.bib15)。在现场部署多机器人系统还依赖于健壮的通信和边缘-云基础设施4 (https://arxiv.org/html/2608.21444#bib.bib16)，并且需要能适配异构机器人平台的接口。由于不同角色和专业背景的操作者往往与每种机器人类型的交互方式不同，智能体人工智能可以作为一个统一的抽象层——为用户与多样化物理系统之间提供更连贯、易懂的关系。在这些背景下，技术只有在融入既定的指挥结构和通信实践，并且高风险决策的责任依然清晰时，才是有用的。

#### 利益相关者与工作环境
主要利益相关者包括现场指挥官和协调员、在危险环境中作业的一线响应者，以及负责机器人资产的技术操作者。工作通过角色专门化的决策和结构化通信来组织，其中更新和任务分配必须简洁、及时且可审计17 (https://arxiv.org/html/2608.21444#bib.bib6);28 (https://arxiv.org/html/2608.21444#bib.bib7)。这种环境突出了超越自然语言控制的交互需求：操作者必须能够在不确定情况下监督、确认和约束智能体系统的行为。

#### 项目目标
NAMUR的目标是：（1）实现对机器人资产的更高层级任务分配（例如，将意图转化为可行的机器人行动）；（2）支持混合主动交互，其中系统提出行动方案，但由人类授权执行；（3）使智能体行为具有足够的可解释性，以便操作者评估风险、时机和后果；以及（4）在现实的、任务导向的演习中研究这些交互，以揭示失败模式、治理需求和可用性限制，而这些在纯粹基于实验室的评估中是不可见的。

#### 为何智能体人工智能在此具有吸引力
智能体人工智能有助于将零散的输入（无线电更新、地图线索、观测）转化为可操作的建议和结构化计划12 (https://arxiv.org/html/2608.21444#bib.bib8);22 (https://arxiv.org/html/2608.21444#bib.bib10)，并且可以通过在快速任务切换中保持连续性来减少协调开销。同时，应急响应使得智能体人工智能的局限性尤为明显：不确定性是不可避免的，为便利性设计的行为如果没有明确的授权工作流21 (https://arxiv.org/html/2608.21444#bib.bib13);8 (https://arxiv.org/html/2608.21444#bib.bib9)、保守的默认设置以及清晰的升级边界，可能会变得有害。

### 2\.2PERSIST：面向关键基础设施的持久多无人机作业

PERSIST研究用于关键基础设施站点监控、巡检和安防的持久多无人机作业（见图2 (https://arxiv.org/html/2608.21444#S2.F2)）。与应急响应不同，此处主要的挑战不是单次高强度任务，而是跨越多天和班次的持续作业，无人机必须反复执行常规任务、响应异常情况，并融入现有的安防与维护组织工作流程。近期关于大语言模型（LLM）智能体在工业自动化中的研究，突显了智能体方法在协调超越实验室的复杂作业系统方面的更广泛相关性29 (https://arxiv.org/html/2608.21444#bib.bib29)。

#### 利益相关者与工作环境
关键利益相关者包括站点安防人员、运维人员，以及负责安全、合规和服务连续性的组织决策者。环境包括受限的物理区域（禁入区、敏感资产）、作业节奏（班次交接、计划内巡检），以及要求系统行为可预测并在遇到常规干扰（天气、连接、访问变更、误报）时能优雅恢复的期望。

#### 项目目标
PERSIST的目标是：（1）从临时性无人机飞行转向可委派和调度的持久、可重复作业；（2）通过支持规划、监控和交接的界面，降低专业无人机使用的门槛；（3）实现可扩展的监督，使一名操作者能管理多载具和多任务类型；以及（4）在现实的基础设施环境中对该方法进行原型验证，产出具有向其他关键站点迁移潜力的概念验证。

#### 为何智能体人工智能在此具有吸引力
智能体人工智能可以支持长期编排：选择和参数化常规任务、根据条件变化调整计划，以及协助异常分类和报告。其风险状况与NAMUR不同：故障在即时性上可能不那么严重，但持久作业放大了可靠性、漂移管理、操作者疲劳和组织信任的重要性。这里的中心交互挑战是持续的可治理性：用户必须能够理解系统一段时间以来的行为、为何发生异常，以及在班次交接时哪些问题尚未解决。

参见标题图2：PERSIST概述示意图（源自提案材料）：激发持久多无人机作业的任务类型示例（例如，常规监控、巡检和安防工作流）。

### 2\.3贯穿主题与对比
NAMUR和PERSIST共同凸显了对智能体多无人机系统的互补性压力。

节奏与时间跨度\.NAMUR强调快速决策周期和短作业窗口；PERSIST强调持久活动、可重复性和跨班次的组织整合。

治理与问责\.两个背景都要求清晰的权责和可审计性，但形式不同：应急响应需要即时确认和升级路径；而基础设施运营需要符合政策的规程、交接摘要和事后问责。

对我们研究方法的启示\.在这两个案例中，我们都将智能体人工智能视为一种社会技术设计材料：我们研究人们如何协调、决策和验证；我们设计保持可治理性的智能体行为原型；并且我们与利益相关者迭代地塑造系统，而非预设一个最终的自主解决方案。

参见标题图3：最新原型界面截图：用于参与式走查，以引出关于监督、不确定性沟通和作业适配的需求。

## 3安全关键工作中的多无人机作业智能体人工智能：教训、张力与议程

我们对智能体人工智能的观点建立在先前对安全关键环境中多机器人系统的以人为中心的研究之上，包括与丹麦和西班牙应急服务部门在搜索与救援（SAR）和消防背景下的共同设计与原型评估14 (https://arxiv.org/html/2608.21444#bib.bib11);16 (https://arxiv.org/html/2608.21444#bib.bib2)，以及与发电厂安防人员的共同设计工作。在这些背景下，实践者希望自主性足够*自持*以具有作业可行性，同时又*透明*、易于学习，并与本地规程和专业知识保持一致。这激发了一种谨慎乐观的态度：智能体人工智能可以减少协调负担并加速意义构建，但前提是搭配能让人类在不确定情况下授权、监督和诊断行动的交互机制。在理想情况下，一名操作者可以通过混合主动控制来监督涉及无人机机队的任务：对于常规进展保持高自主性，而当风险或不确定性增加时，在不同粒度层级进行快速干预。

### 3\.1驱动智能体支持的机遇
智能体人工智能在这些领域具有吸引力，不是因为它能取代专业判断，而是因为它能帮助团队管理*规模*（多载具、多数据流、多利益相关者），而不会压垮态势感知11 (https://arxiv.org/html/2608.21444#bib.bib24)。在我们的案例中，最显著的机遇是：（i）选择性注意与摘要，减少持续的手动扫描；（ii）混合主动规划与重规划，在信息变化时保持连贯覆盖；（iii）面向持久作业的长期编排，包括调度、异常分类以及符合人员配置约束的报告。

### 3\.2需要可治理性的安全关键张力
同样的能力引入了仅靠自主性无法解决的张力。首先，实践者需要系统能够在没有持续关注的情况下运行，但同时抵制无法解释、约束或覆盖的黑箱行为。其次，强大的