基于分层冲突感知观测的滑行路径规划值分解强化学习框架

# 基于层次前瞻性交通表示与值分解强化学习的冲突感知滑行道路由

来源: https://arxiv.org/html/2605.08754
Shizhong Zhou, Haifeng Liu, Zheng Zhang, Shiyu Zhang, Bo Yang, and Yi Lin本文已提交给 IEEE 考虑发表。版权可能会在未经通知的情况下转移，此后此版本可能不再可访问。
通讯作者: Yi Lin; 电子邮件: [email protected]
Shizhong Zhou 隶属于四川大学合成视觉基础科学国家重点实验室，中国成都，邮编 610000。Haifeng Liu, Zheng Zhang, Shiyu Zhang, Bo Yang 和 Yi Lin 隶属于四川大学计算机学院，中国成都，邮编 610000。

###### 摘要

滑行道路由和地面冲突避免是机场地面运行中耦合的安全关键决策问题。现有的规划和优化方法往往受限于在线计算成本，而强化学习方法在表示下游交通冲突和平衡多重目标方面可能面临困难。本文提出了冲突感知滑行道路由（CaTR），这是一个用于实时多飞机滑行道路由的强化学习框架。CaTR 构建了一个带有动作掩码的基于网格的机场地面环境，引入层次前瞻性交通表示来编码当前和下游与冲突相关的交通状况，并采用值分解强化学习策略以优先处理稀疏但安全关键的目标。实验在基于长沙黄花国际机场的真实环境中进行，涵盖多种交通密度水平。结果表明，在保持实用运行时间的同时，CaTR 在安全与效率的权衡方面优于代表性的规划、优化和强化学习基线方法。

## I 引言

随着空中交通需求的持续增长，滑行道路由和地面冲突避免已成为影响机场容量、滑行延误、燃油消耗和运营安全的重要因素。在密集的机场地面运行期间，多架飞机争夺有限的滑行道、跑道穿越、等待坪和机位接入资源。局部的路由决策可能会影响下游路段的占用情况，并进一步通过机场地面网络传播拥堵或冲突风险。

机场滑行道路由已经通过规划和优化方法进行了研究，包括混合整数规划、机会约束优化、路径搜索和元启发式算法[2 (https://arxiv.org/html/2605.08754#bib.bib3),9 (https://arxiv.org/html/2605.08754#bib.bib5),6 (https://arxiv.org/html/2605.08754#bib.bib6),10 (https://arxiv.org/html/2605.08754#bib.bib24),3 (https://arxiv.org/html/2605.08754#bib.bib8)]。这些方法可以在明确约束下提供可解释的路由计划，但在交通状况快速变化时，其在线使用仍然具有挑战性。重复优化可能计算昂贵，且实时的拥堵或冲突信息可能难以有效融入。

强化学习（RL）提供了一种有前景的替代方案，通过在动态环境中学习将交通状态映射到路由动作的策略。最近的基于 RL 的研究已应用于机场滑行、出发流量控制和多飞机协调[8 (https://arxiv.org/html/2605.08754#bib.bib12),4 (https://arxiv.org/html/2605.08754#bib.bib13),1 (https://arxiv.org/html/2605.08754#bib.bib14),7 (https://arxiv.org/html/2605.08754#bib.bib15),5 (https://arxiv.org/html/2605.08754#bib.bib17)]。然而，现有的 RL 方法在密集滑行道路由中仍面临三个挑战。首先，局部观测可能不足以捕捉下游拥堵和冲突传播。其次，不同的运营目标，如安全和路由效率，可能产生冲突的优化信号。第三，安全关键事件在训练期间是稀疏的，这可能削弱高密度场景下的策略鲁棒性。

为了解决这些局限性，本文提出了冲突感知滑行道路由（CaTR），这是一个用于实时机场地面路线决策的基于 RL 的框架。CaTR 结合了基于网格的离散机场地面环境、层次前瞻性交通表示（HFTR）和值分解学习策略。主要贡献总结如下：

- •构建了一个带有动作掩码的基于网格的机场地面路由框架，编码滑行道连通性、网格占用和跑道运行约束。
- •采用层次前瞻性交通表示来描述候选滑行道路段沿线的当前和下游交通状况，以实现冲突感知的决策。
- •引入值分解强化学习策略以平衡多个奖励分量，并优先处理稀疏但安全关键的目标。
- •在真实的长沙黄花国际机场环境上的实验表明，CaTR 在不同交通密度下的安全-效率权衡方面优于代表性基线。

## II 问题形式化

### II-A 基于网格的机场地面环境

机场地面被离散化为均匀网格单元，以模拟滑行道和跑道运行。每个网格状态表示为

c=(x,y,h),\mathbf{c}=(x,y,h),(1)其中x和y表示网格坐标，h∈{0,1,2,3}表示离散化的飞机航向。离散动作集为

A={aforward,astop,aleft,aright}.\mathcal{A}=\{a^{\mathrm{forward}},a^{\mathrm{stop}},a^{\mathrm{left}},a^{\mathrm{right}}\}.(2)在每个决策步骤，动作掩码根据滑行道拓扑、航向约束、网格单元占用和跑道运行规则排除不可行动作。这确保了飞机移动在物理上是可行的，并符合基本的地面运行约束。

对于每架飞机，时刻t的状态由路由状态和与冲突相关的交通观测组成：

st=(sroute,t,stHFTR).s_{t}=(s_{t}^{\mathrm{route}},s_{t}^{\mathrm{HFTR}}).(3)路由状态定义为

sroute,t=(xt,yt,ht,δxt,δyt,ηt(1),τt(1),ηt(2),τt(2)),s_{t}^{\mathrm{route}}=(x_{t},y_{t},h_{t},\delta x_{t},\delta y_{t},\eta_{t}^{(1)},\tau_{t}^{(1)},\eta_{t}^{(2)},\tau_{t}^{(2)}),(4)其中(xt,yt,ht)表示当前网格位置和航向，(δxt,δyt)表示相对于目的地的偏移，ηt(k)表示跑道k的状态，τt(k)表示跑道k变为可用前的剩余时间步数。跑道状态包括空闲、起飞、着陆和穿越模式。

### II-B 学习目标

滑行道路由问题被形式化为马尔可夫决策过程。策略在动作掩码下选择有效动作：

at∼πθ(⋅∣st,mt),at∈Atvalid.a_{t}\sim\pi_{\theta}(\cdot\mid s_{t},\mathbf{m}_{t}),\quad a_{t}\in\mathcal{A}_{t}^{\mathrm{valid}}.(5)目标是最大化期望折扣回报：

J(θ)=Eπθ[∑t=0∞γtrt].J(\theta)=\mathbb{E}_{\pi_{\theta}}\left[\sum_{t=0}^{\infty}\gamma^{t}r_{t}\right].(6)在本工作中，使用带动作掩码的 PPO 进行策略优化。

## III 方法

### III-A CaTR 概述

CaTR 旨在支持密集机场地面运行中的实时冲突感知滑行道路由。该框架由三个主要部分组成：层次前瞻性交通表示、双分支特征提取和梯度加权值分解。所有飞机共享相同的策略和价值网络，从而能够在变化的交通条件下实现可扩展的决策。

参见图注 Figure 1: 所提出的 CaTR 框架的整体架构。

### III-B 层次前瞻性交通表示

层次前瞻性交通表示（HFTR）用于编码受控飞机周围的与冲突相关的交通信息。从当前滑行道路段开始，HFTR 沿着可行的下游机动选项递归扩展，包括左转、直行和右转。这提供了对未来滑行路径上预期交通状况和潜在冲突风险的结构性描述。

对于每个滑行道路段，定义一个紧凑的特征向量：

τi=[ID(τi),liremi,diheadi,disamei,ni],\tau_{i}=[\mathrm{ID}(\tau_{i}),l_{i}^{\mathrm{rem}},d_{i}^{\mathrm{head}},d_{i}^{\mathrm{same}},n_{i}],(7)其中ID(τi)表示路段标识符，liremi表示剩余路段长度，dihead和disame分别表示最近的对头和同向飞机距离，ni表示路段上的飞机数量。时刻t的 HFTR 写为

stHFTR={T(0),T(1),...,T(LHFTR−1)},s_{t}^{\mathrm{HFTR}}=\{\mathcal{T}^{(0)},\mathcal{T}^{(1)},\ldots,\mathcal{T}^{(L_{\mathrm{HFTR}}-1)}\},(8)其中T(l)是第l层前瞻级别的路段特征集合。

### III-C 双分支特征提取

路由状态和 HFTR 描述了互补信息。路由状态提供与自身相关的导航信息，而 HFTR 提供结构化的下游交通信息。因此，CaTR 采用双分支特征提取模块。路由分支使用多层感知机编码sroute,t，交通分支使用基于图的特征提取来编码stHFTR，针对层次前瞻性结构。提取的特征被融合，然后提供给 actor-critic 网络以进行掩码动作选择和价值估计。

### III-D 梯度加权值分解

机场地面路由涉及多个目标，包括目的地完成、路线效率、间隔保持和冲突避免。奖励分解为

rt=rdist,t+rmove,t+rarrive,t+rprox,t+rconf,t,r_{t}=r_{t}^{\mathrm{dist}}+r_{t}^{\mathrm{move}}+r_{t}^{\mathrm{arrive}}+r_{t}^{\mathrm{prox}}+r_{t}^{\mathrm{conf}},(9)其中分量分别对应距离、移动、到达、邻近和对头冲突目标。

为了平衡这些目标，critic 估计不同奖励分量的价值向量。对于第i个价值分量，计算价值损失的梯度幅度为

gi=‖∇φLvalue,i‖1.g_{i}=\left\|\nabla_{\phi}\mathcal{L}_{\mathrm{value},i}\right\|_{1}.(10)然后通过下式获得归一化的分量权重

wi=exp(gi)∑j=1Kexp(gj).w_{i}=\frac{\exp(g_{i})}{\sum_{j=1}^{K}\exp(g_{j})}.(11)总价值损失定义为

Lvalue=∑i=1KwiLvalue,i,\mathcal{L}_{\mathrm{value}}=\sum_{i=1}^{K}w_{i}\mathcal{L}_{\mathrm{value},i},(12)其中K是奖励分量的数量。这种策略增加了对困难或稀疏目标的学习强调，特别是安全关键的冲突避免。

## IV 实验

### IV-A 实验设置

实验在基于长沙黄花国际机场（ZGHA）的真实机场地面环境中进行，其平行跑道要求所有航班进行跑道穿越操作。2025年6月14日至6月27日在 ZGHA 收集的飞行轨迹用于表征交通密度。最大每小时交通密度为 42 架飞机，用作基准交通密度。实验在1.00×,1.25×, 和1.50×交通密度下进行。

CaTR 与规划、优化和强化学习基线进行比较，包括 Dijkstra, 改进的 A*, GA, DQN 和 PPO。评估指标包括对头冲突率（HCR）、邻近冲突率（PCR）、成功率（SR）、绕行比（DR）、多余时间比（ETR）和运行时间（RT）。较低的 HCR, PCR, DR, ETR 和 RT 表示性能更好，而较高的 SR 表示性能更好。

表 I: 不同交通密度下基线方法的性能。

| 交通密度 | 方法 | 冲突避免 | 路由效率 | 计算效率 |
| :--- | :--- | :--- | :--- | :--- |
| | | HCR (%)↓ | PCR (%)↓ | SR (%)↑ | DR (%)↓ | ETR (%)↓ | RT (s)↓ |
| 1.00× | Dijkstra | 10.00 | 52.64 | 70.81 | 6.98 | 21.11 | 80.30 | 1.59 |
| | 改进的 A* | 5.92 | 39.19 | 59.14 | 7.61 | 52.42 | 5.72 |
| | GA | 4.38 | 51.05 | 70.91 | 1.91 | 7.51 | 50.30 | 7.23 |
| | DQN | 2.95 | 41.63 | 89.85 | 2.71 | 5.26 | 145.80 | 0.94 |
| | PPO | 1.88 | 23.59 | 4.95 | 4.64 | 8.50 | 8.02 | 6.52 |
| | CaTR | **0.16** | **9.30** | **99.47** | **1.67** | **21.67** | **3.77** |
| 1.25× | Dijkstra | 10.51 | 43.74 | 39.77 | 5.01 | 1.14 | 162.91 | 2.01 |
| | 改进的 A* | 6.58 | 0.12 | 4.05 | 8.94 | 9.85 | 66.62 | 7.76 |
| | GA | 4.00 | 0.18 | 4.00 | 8.89 | 0.33 | 77.78 | 347.36 |
| | DQN | 2.87 | 11.40 | 1.98 | 7.69 | 14.82 | 117.55 | 0.88 |
| | PPO | 2.11 | 25.00 | 6.94 | 4.34 | 9.60 | 64.27 | 2.62 |
| | CaTR | **0.21** | **6.97** | **98.78** | **2.04** | **29.37** | **3.51** |
| 1.50× | Dijkstra | 10.05 | 6.45 | 0.50 | 7.36 | 3.13 | 199.11 | 2.68 |
| | 改进的 A* | 6.17 | 9.16 | 0.63 | 8.60 | 9.83 | 81.29 | 3.87 |
| | GA | 5.33 | 3.23 | 8.75 | 8.48 | 4.96 | 95.77 | 427.66 |
| | DQN | 2.95 | 8.25 | 6.18 | 7.99 | 6.21 | 5.10 | 1.76 | 0.97 |
| | PPO | 1.96 | 1.74 | 0.00 | 9.25 | 0.60 | 1.83 | 9.62 | 2.69 |
| | CaTR | **0.22** | **8.12** | **96.84** | **2.73** | **36.88** | **3.48** |

- •最佳结果以粗体显示，次佳结果以下划线显示。

### IV-B 与基线的比较

表 I (https://arxiv.org/html/2605.08754#S4.T1) 报告了 CaTR 和基线在不同交通密度下的性能。在所有评估的交通密度下，CaTR 实现了最佳的整体安全-效率权衡。与规划和优化基线相比，CaTR 大幅降低了冲突率，同时保持了高路由效率。与 RL 基线相比，CaTR 在密集交通条件下提供了更强的冲突避免能力和更稳定的完成性能。

在最高交通密度下，CaTR 将对头冲突率（HCR）降低到 0.228%，将邻近冲突率（PCR）降低到 12.18%，同时保持 96.84% 的成功率。这些结果表明，所提出的冲突感知表示和值分解优化在不依赖过度绕行或延误的情况下提高了安全性。虽然 DQN 和 Dijkstra 的运行时间较低，但其冲突避免和路由效率明显较弱。因此，CaTR 在运营安全、路由效率和计算成本之间提供了有利的权衡。

## 参考文献

- [1](2022) 一种考虑空侧时空相互作用的机场出发流量控制深度强化学习方法。IEEE Transactions on Intelligent Transportation Systems 23(12), pp. 23933–23950。引用自: §I (https://arxiv.org/html/2605.08754#S1.p3.1)。
- [2] G. Clare and A. G. Richards (2011) 滑行道路由和跑道调度的优化。IEEE Transactions on Intelligent Transportation Systems 12(4), pp. 1000–1013。引用自: §I (https://arxiv.org/html/2605.08754#S1.p2.1)。
- [3] W. Deng, L. Zhang, X. Zhou, Y. Zhou, Y. Sun, W. Zhu, H. Chen, W. Deng, H. Chen, and H. Zhao (2022) 机场滑行道规划问题的多策略粒子群和蚁群混合优化。Information Sciences 612, pp. 576–593。引用自: §I (https://arxiv.org/html/2605.08754#S1.p2.1)。
- [4] M. Szymanski, G. Ghazi, and R. M. Botez (2023) 单智能体和多人强化学习方法优化机场飞机地面轨迹。DOI。引用自: §I (https://arxiv.org/html