面向空中交通管理中AI辅助飞行规划的决策保障层
摘要
本文提出了ATAL,一种决策保障框架,用于评估空中交通管理中AI生成输出的可靠性,以确保安全和操作一致性。
arXiv:2609.13552v1 公告类型:新
摘要:生成式AI正越来越多地非正式地用于空中交通管理 (ATM) 中,执行飞行计划生成、轨迹解释和约束检查等任务。尽管这些工具可以减少工作量并加速规划,但其非确定性输出在人在回路设置中带来了安全和操作风险。本文提出了AI信任与保障层 (ATAL),这是一种模型无关的决策保障架构,用于评估AI生成的飞行规划输出是否足够可靠以供操作使用。ATAL结合了提示变化下的语义稳定性、结构化输出的操作一致性以及针对领域规则的规范性约束验证,并将这些信号映射为操作员的决策就绪水平 (DRL)。一项受ATM启发的实验研究展示了如何在影响飞行计划验证或执行之前,识别出不安全、不一致或误导性的输出。尽管在航空领域进行了演示,但该框架也可转移到其他安全关键型决策支持领域,这些领域在监管约束下需要人类监督。
查看缓存全文
缓存时间: 2026/09/15 08:56
# 面向空中交通管理中AI辅助飞行规划的决策保障层 来源:https://arxiv.org/html/2609.13552 **作者信息** 1. Alexandre Barreto | 单位:乔治梅森大学网络安全工程系,美国弗吉尼亚州费尔法克斯 | 联系方式:[email protected] 2. Shou Matsumoto | 单位:蒙特雷理工学院计算机科学系,墨西哥墨西哥城 | 联系方式:[email protected] 3. Jorge Valverde-Rebaza | 单位:蒙特雷理工学院计算机科学系,墨西哥墨西哥城 | 联系方式:[email protected] 4. Cleiton Ataide | 单位:巴西空域管制部技术分部,巴西里约热内卢 | 联系方式:[email protected] 5. Paulo Costa | 单位:乔治梅森大学C5I中心,美国弗吉尼亚州费尔法克斯 | 联系方式:[email protected] ## 摘要 生成式AI在空中交通管理中非正式地用于飞行计划生成、航迹解释和约束检查等任务。尽管这些工具可降低工作负荷并加速规划,但其非确定性输出在人机协同环境中带来安全与运行风险。本文提出AI信任与保障层——一种模型无关的决策保障架构,用于评估AI生成的飞行规划输出是否足以满足运行使用要求。ATAL结合提示变体下的语义稳定性、结构化输出的运行一致性以及针对领域规则的规范约束验证,并将这些信号映射为面向人类操作员的决策就绪等级。基于ATM启发的实验研究表明,在影响飞行计划验证或执行前,可识别不安全、不一致或误导性输出。尽管在航空领域进行验证,该框架同样可迁移至其他需要监管约束下人类监督的关键安全决策支持领域。 ## 关键词 可信AI、空中交通管理、航空领域生成式AI、决策就绪等级、人机协同 ## I 引言 我们正见证前沿AI从对话机器人向自主决策支持智能体的快速转型[1,2,3]。尽管大语言模型展现出卓越推理能力,但其对统计模式的依赖仍是安全关键应用的基本障碍[4,5]。在精度要求严苛的领域,概率系统的固有不可预测性不仅是技术缺陷——更是运行信任的壁垒。 大语言模型虽具有强大推理能力,但其内在特性使安全应用面临挑战:输出可能不可预测地变化,对输入微小改动敏感,可能过度自信而不表征不确定性,且易受对抗性攻击[4,6,7,8]。这些是概率生成系统的固有特性而非缺陷[9,10],但应用于决策时会导致信任缺失。 当前评估方法主要依赖固定基准和人类偏好,但在可靠性至关重要的场景(如分布偏移、对抗攻击或复杂环境)中不足[11,12]。传统方法无法为决策或预测提供所需置信度,难以监督超出标准测试范围的模型[13,14]。 尽管存在这些局限,大语言模型在航空等复杂环境中增强人类专业能力的潜力不容置疑。以飞行规划为例:该过程需严格整合监管约束、专业编码与实时数据——规则演进时即使经验丰富的飞行员也可能面临认知过载。在ATM语境中,飞行计划不仅是航路意图声明,更是具有约束力的运行契约。它综合航空器性能、空域限制并符合国际民航组织规定[15]。生成式AI驱动的自动化必须确保FPL语法——特别是第10、15、18项——精确反映真实设备与性能限制以保障安全。 这给ATM带来核心挑战:AI虽能加速飞行规划,但其概率性与不透明行为难以用传统安全方法审计[16,17,18,19]。为此,我们提出AI信任与保障层——一种模型无关框架,用于在AI输出用于执行决策前,评估其稳定性、运行一致性与规范合规性。 ATAL作为LLM生成建议与运行使用之间的保障层,结合语义稳定性、运行一致性与规范约束验证,将这些信号映射为支持校准化人类监督的决策就绪等级。我们在FPL生成与验证的ATM案例研究中展示该框架:第II节综述相关工作,第III节阐述ATAL与DRL,第IV节报告实验评估,第V节总结全文。 ## II 文献综述 传统语言模型评估依赖困惑度等概率指标[9]。虽可衡量语言流畅性,但作为安全代理指标效果欠佳。模型可能为语法完美但运行灾难性的序列分配高概率。在安全关键领域,“流畅性”次于结构有效性与监管合规性——这些领域令牌级不确定性指标几乎无法提供洞察。 HELM与TruthfulQA等现代框架确实提升了量化幻觉与事实一致性的能力[10],但这些基准仍基于通用知识检索,未能考量专业领域的确定性严苛性。掌握事实与遵循相互关联的航空约束体系存在本质差异——分布偏移或对抗提示可能引发不可预测故障。 需注意这些指标均未解决模型输出在监管限制下支持时间关键决策的可靠性问题。 当前安全范式严重依赖行为对齐与基准表现,但对安全部署仍显不足[20,21]。模型可能表面表现有益且对齐,却仍存在结构不可靠性、过度自信[22]、分布偏移下的脆弱性[23]或对抗提示漏洞[24]。因此现有方法无法预测受控环境中看似安全的行为在真实运行循环中是否保持可靠。这促使我们需要保障框架综合评估行为稳定性、约束合规性与决策就绪性[17]。 同时,传统安全工程通过保障案例与形式化验证技术证明符合安全标准(如航空领域的DO-178C[16]),依赖确定性模型与可追溯需求。 近期AI保障研究探索可解释性方法、统计不确定性评估与治理级风险缓解框架[12,10,17],但这些方法或聚焦模型可解释性与统计置信度,或假设确定性系统运行,未将结构化领域约束、基于扰动的语义稳定性测试、对抗诊断与校准评估整合为支持分级决策权的集成运行指标。 表I:现有AI评估方法局限与ATAL贡献对比 综观这些研究脉络,共性局限在于:现有方法处理可靠性的个别维度,却未提供统一的领域感知层,在单一可解释的决策就绪度量中综合评估语义不变性、结构一致性、确定性约束、对抗信号与长期退化。ATAL的提出正是填补此空白(见表I)。 ## III AI信任与保障层 AI信任与保障层是黑箱领域感知保障框架,用于衡量前沿AI输出在真实扰动下是否保持语义稳定、运行一致与规范有效,再应用于高风险工作流。 我们将ATAL实现为多维度测量套件,作为前沿AI智能体的严格“行为过滤器”。其架构不仅观测,更通过五个分析层对模型输出施加压力测试,以合成高完整性监督信号。ATAL框架的组成部分包括: - 五个分析维度: 1. 核心维度-语义稳定性:评估不同提示表述下底层语义的不变性,检测控制同义转述与扰动下的意义漂移。 2. 核心维度-运行一致性:评估结构化运行决策在不同输出中的不变性,与语义稳定性结合捕捉语义参数变化下的决策漂移。 3. 核心维度-规范约束验证:作为真值中介强制符合确定性领域约束(如FAA间隔标准),实现语义不稳定与规则违规的关联。 4. 辅助维度-注入证据指数:检测对抗操纵信号(包括提示注入与越狱尝试),评估其对语义与运行一致性的影响。 5. 辅助维度-时间可靠性层:长期监控组件,追踪系统性退化,识别重复使用或数据分布偏移下的可靠性漂移。 - 一个综合度量: 1. 输出维度-决策就绪等级:作为控制模型输出转向人类/自主系统可执行决策的经验阈值与把关机制,支持高风险环境校准化监督。为运行清晰度,将综合输出映射为四级分类方案:DRL-1(不适用)、DRL-2(信息/参考/只读)、DRL-3(人工监督下有条件执行)、DRL-4(完全可执行/决策就绪)。 图1:ATAL框架架构 DRL框架输出不仅提供简单分类标签,更为利益相关者提供高价值洞见。具体而言,每项输出将增强量化不确定性指标(如模糊逻辑隶属度或完整概率分布),以及表征置信度并促进信任的可解释性特征[25,26,27]。该综合数据包旨在支持细微人机协同监督与自主协议无缝执行。 尽管ATAL提供强健评估能力,仍受特定边界条件约束:框架不用于认证绝对事实正确性或检测未显化行为的隐性不对齐;其效用在形式约束明确定义的领域优化,安全性可能无法泛化至无基础环境;系统韧性受已验证约束模型限制,无法保证扩展至新型攻击向量或分布外运行场景。 ATAL架构通过模块化评估层固有支持抵御对抗提示注入与长期质量退化,但本研究核心实例化组件为语义稳定性、运行一致性、规范约束验证与DRL聚合模块。注入证据指数与时间可靠性层包含在整体架构中,但仅部分实现,留待未来评估。 ### III-A 语义稳定性 语义稳定性度量量化语言模型输出对控制性意义保留提示变体的鲁棒性。核心目标评估输入提示的微小语义等价重组是否导致一致运行结果。 此指标捕捉语义不变性而非语言相似性,聚焦输出编码的决策是否在表面措辞变化下保持稳定。图2展示语义稳定性评估流程:生成控制性意图保留提示变体,比较LLM输出评估运行不变性,当意义或结构参数偏离超阈值时触发语义漂移标志。 图2:语义稳定性度量流程 给定原始提示P0与语义等价变体集合{Pi}i=1n,模型产生对应输出oi。各输出转化为结构化表示Si=g(o_i),其中g(·)将原始文本映射至领域特定语义模式。语义稳定性度量定义为参考输出S0与各扰动输出Si平均偏差的补数,即衡量模型在等价输入下的行为偏离程度。 偏差函数D(S0,Si)捕捉……
相似文章
以机器速度治理:实时AI策略执行的自适应智能架构
本文指出AI治理中的认证缺陷,并提出了AGIL,一个使用机器学习进行实时策略执行的五层自适应架构。
可信代理AI:故障模式、缓解策略与自主LLM系统的生命周期框架
论文回顾了基于LLM的可信代理AI系统的故障模式和缓解策略,并介绍了可信代理开发生命周期(TADL)框架,用于安全开发。
面向AI中介的确定性动作级证明
开发了一种针对AI中介的确定性动作级证明架构,并在与微软工程团队的讨论中得到了验证。作者正在为该软件架构寻找投资者或合作伙伴。
面向企业AI智能体的部署前保障:基于本体论的仿真与信任认证
研究人员提出了一种基于本体论的企业AI智能体部署前验证框架,结合了智能体操作包络、自动化场景生成以及可机器验证的信任证书与分级部署判定。在四个受监管行业开展的试点研究共生成1,800个测试场景,结果显示基于本体论的生成方法在监管覆盖率上显著优于基于角色的基线方法。
代理AI在安全关键多无人机系统中的挑战与机遇
本立场文件讨论了将代理AI集成到安全关键多无人机系统中的挑战与机遇,倡导以人为中心的社会技术设计方法,以确保在专业环境中的信任、治理和采用。