用于自适应交通信号控制的可解释强化学习

# 可解释强化学习用于自适应交通信号控制
来源：https://arxiv.org/html/2607.03703
Dickens Kwesiga, Nishu Choudhary, Angshuman Guin, and Michael Hunter作者隶属于佐治亚理工学院土木与环境工程学院，亚特兰大，GA 30332 美国（电子邮件：[email protected]）。手稿于2026年6月30日收到。

###### 摘要

无模型强化学习（RL）已成为自适应交通信号控制的有力范式。部分原因在于，最先进的RL智能体可以直接与交通仿真环境交互，学习高度复杂、非线性的交通控制策略，而无需依赖复杂的预测模型。然而，在交通控制这类安全关键基础设施中，深度RL模型不透明的黑箱特性给交通管理部门的接受度、监管合规性、运行信任、故障排查以及交通工程师的参数微调带来了挑战。为弥合高性能优化与人类可理解的可解释性之间的鸿沟，本工作引入了一种新颖的、以实体为中心的可解释RL框架，用于安全且透明的交通信号控制。所提出的架构并非通过单一扁平向量处理交通状态，而是将实时交叉口观测分解为独立的、高维的车道实体（作为Query）和相位时间配置（作为Key和Value），从而内在保留交叉口的结构拓扑和几何配置。通过一个包含顺序多头交叉注意力和自注意力块的双阶段注意力网络，动态提取关系依赖和车道间冲突。该设计产生了一个实时亲和性矩阵，量化信号相位对特定进口道流量和排队长度的直接影响，提供全面的可视化和分析可解释性。为确保严格的操作可靠性，一个确定性的动作掩码接口直接集成到近端策略优化（PPO）流水线中，显式地阻止无效的相位转换，从而保证绝对符合既定的信号时序规范和安全性约束。在微观仿真环境中，在不同交通需求下进行评估，该框架在延误最小化方面与最先进的基线方法相当或更优。更重要的是，生成的注意力权重精确符合既定的交通工程原理，跟踪排队清除和协调相位转换，为下一代自适应交通控制系统提供了一种可审计、可信任且可部署的架构。

## I. 引言

无模型强化学习已成为自适应交通信号控制的有力范式。通过与微观交通仿真环境直接交互，最先进的RL智能体可以学习高度复杂、非线性的优化策略，而无需依赖复杂的预测模型。这些框架将实时交通观测直接映射为最优信号决策，在仿真环境中持续展现出优于传统感应控制和定时控制器的性能。

尽管基于RL的交通信号控制器在文献中已证明其成功，但深度RL模型不透明的黑箱特性给交通管理部门的接受度、运行信任、故障排查以及交通工程师的微调带来了挑战。以往的深度RL模型在产生控制动作时，并未揭示其决策背后的因果逻辑或结构依据。在交通控制这类安全关键基础设施中，缺乏可解释性引入了显著的部署障碍，包括监管合规性和运行信任方面的挑战。此外，黑箱模型无法提供结构性诊断来区分异常传感器输入、硬件故障和策略推理错误，限制了交通工程团队轻松排查问题的能力。此外，具有模糊内部逻辑的RL算法使工程师无法微调控制过程或向其中注入领域知识。因此，迫切需要一种可解释、结构化的RL框架，能够弥合高性能深度优化与人类可理解的可解释性之间的鸿沟。

本文介绍了一种专门为安全且透明的交通信号控制设计的、以实体为中心的可解释RL框架。通过从扁平向量空间转向解耦的高维实体表示，所提出的架构揭示了驱动控制决策的交通流与信号相位之间的潜在依赖关系。

本工作的主要贡献如下：

1.  保拓扑实体嵌入：本研究提出了一种架构分解，将原始交叉口指标分离为独立的车道实体（Query）和相位状态元素（Key/Value），并将它们映射到共享的高维潜在空间中，从而内在保留交叉口的空间配置和空间拓扑。
2.  层次化关系注意力机制：引入了一种结合多头交叉注意力和多头自注意力的双阶段注意力架构，用于建模车道与信号相位之间的交互以及车道间的依赖关系。这种结构提供了完全可解释的矩阵，量化每个信号相位对单个进口道的直接影响，实时揭示模型内部的决策逻辑。
3.  约束动作掩码接口：为弥合随机策略探索与确定性现场安全之间的差距，所构建的架构将分析性动作掩码层直接集成到RL策略流水线中。该接口从数学上阻止无效的相位转换，保证绝对符合既定的信号时序约束。
4.  实证验证与可解释性评估：利用SUMO（城市移动性仿真）环境，所提出的方法在延误减少方面相比基线方法展现出更优的性能，同时提供可解释的注意力可视化，这些可视化与观察到的交通现象（如排队形成、相位转换和溢流缓解）保持一致。

## II. 相关研究

### II-A 用于交通信号控制的强化学习

近年来大量工作集中于开发基于RL的自适应信号控制系统\[1 (https://arxiv.org/html/2607.03703#bib.bib1),2 (https://arxiv.org/html/2607.03703#bib.bib2),3 (https://arxiv.org/html/2607.03703#bib.bib3),4 (https://arxiv.org/html/2607.03703#bib.bib4),5 (https://arxiv.org/html/2607.03703#bib.bib5),6 (https://arxiv.org/html/2607.03703#bib.bib6),7 (https://arxiv.org/html/2607.03703#bib.bib7),8 (https://arxiv.org/html/2607.03703#bib.bib8),9 (https://arxiv.org/html/2607.03703#bib.bib9),10 (https://arxiv.org/html/2607.03703#bib.bib10),11 (https://arxiv.org/html/2607.03703#bib.bib11),12 (https://arxiv.org/html/2607.03703#bib.bib12),13 (https://arxiv.org/html/2607.03703#bib.bib13),14 (https://arxiv.org/html/2607.03703#bib.bib14),15 (https://arxiv.org/html/2607.03703#bib.bib15),16 (https://arxiv.org/html/2607.03703#bib.bib16),17 (https://arxiv.org/html/2607.03703#bib.bib17),18 (https://arxiv.org/html/2607.03703#bib.bib18)\]。基于RL的信号控制之所以吸引人，在于最先进的RL算法具有无模型特性。与当前现场部署的自适应信号控制系统不同，无模型RL自适应信号控制系统不依赖于状态预测模型，因此在实时实现中计算效率更高。在仿真环境中，基于RL的控制已展现出优于现行实践的定时控制和感应控制系统的性能。

早期研究主要集中在孤立交叉口控制上，将单个RL智能体置于微观交通仿真中训练，以优化单个交叉口的信号配时\[13 (https://arxiv.org/html/2607.03703#bib.bib13),19 (https://arxiv.org/html/2607.03703#bib.bib19),20 (https://arxiv.org/html/2607.03703#bib.bib20),21 (https://arxiv.org/html/2607.03703#bib.bib21),22 (https://arxiv.org/html/2607.03703#bib.bib22),23 (https://arxiv.org/html/2607.03703#bib.bib23),24 (https://arxiv.org/html/2607.03703#bib.bib24),25 (https://arxiv.org/html/2607.03703#bib.bib25),26 (https://arxiv.org/html/2607.03703#bib.bib26),27 (https://arxiv.org/html/2607.03703#bib.bib27)\]。有几项研究提出了基于深度Q网络（DQN）及其扩展的算法\[8 (https://arxiv.org/html/2607.03703#bib.bib8),9 (https://arxiv.org/html/2607.03703#bib.bib9),13 (https://arxiv.org/html/2607.03703#bib.bib13),21 (https://arxiv.org/html/2607.03703#bib.bib21),24 (https://arxiv.org/html/2607.03703#bib.bib24),25 (https://arxiv.org/html/2607.03703#bib.bib25),27 (https://arxiv.org/html/2607.03703#bib.bib27),28 (https://arxiv.org/html/2607.03703#bib.bib28),29 (https://arxiv.org/html/2607.03703#bib.bib29),30 (https://arxiv.org/html/2607.03703#bib.bib30)\]，而另一些则提出了基于策略的方法，包括actor-critic及其变体，如A2C、DDPG和PPO\[19 (https://arxiv.org/html/2607.03703#bib.bib19),22 (https://arxiv.org/html/2607.03703#bib.bib22),31 (https://arxiv.org/html/2607.03703#bib.bib31),32 (https://arxiv.org/html/2607.03703#bib.bib32)\]。

最近的工作重点是将单智能体RL信号控制扩展到多智能体强化学习（MARL）信号控制，每个智能体控制一个交叉口，并与相邻交叉口的智能体协作生成协调的信号配时方案\[1 (https://arxiv.org/html/2607.03703#bib.bib1),2 (https://arxiv.org/html/2607.03703#bib.bib2),5 (https://arxiv.org/html/2607.03703#bib.bib5),6 (https://arxiv.org/html/2607.03703#bib.bib6),7 (https://arxiv.org/html/2607.03703#bib.bib7),10 (https://arxiv.org/html/2607.03703#bib.bib10),11 (https://arxiv.org/html/2607.03703#bib.bib11),14 (https://arxiv.org/html/2607.03703#bib.bib14),15 (https://arxiv.org/html/2607.03703#bib.bib15),16 (https://arxiv.org/html/2607.03703#bib.bib16),33 (https://arxiv.org/html/2607.03703#bib.bib33),34 (https://arxiv.org/html/2607.03703#bib.bib34),35 (https://arxiv.org/html/2607.03703#bib.bib35),36 (https://arxiv.org/html/2607.03703#bib.bib36)\]。几项工作采用了MARL的集中训练与分散执行（CTDE）范式，使得智能体在训练期间能够进行隐式通信。其中一些工作通过显式通信模块增强了CTDE中固有的隐式通信，以便在智能体之间交换观测和动作历史\[6 (https://arxiv.org/html/2607.03703#bib.bib6),11 (https://arxiv.org/html/2607.03703#bib.bib11),18 (https://arxiv.org/html/2607.03703#bib.bib18)\]。一些研究，特别是针对网络级信号控制，提出了基于图的RL\[1 (https://arxiv.org/html/2607.03703#bib.bib1),4 (https://arxiv.org/html/2607.03703#bib.bib4),7 (https://arxiv.org/html/2607.03703#bib.bib7),10 (https://arxiv.org/html/2607.03703#bib.bib10)\]。基于图的RL通过图神经网络实现相邻智能体之间的信息共享。

### II-B 用于交通信号控制的可解释强化学习

最近的研究已开始解决基于RL的交通信号控制的可解释性限制。Luo 等人\[37 (https://arxiv.org/html/2607.03703#bib.bib37)\]提出了一种基于高效铰链超平面神经网络的可解释影响机制，利用ANOVA分解量化单个交通特征及其交互的贡献。该方法能够显式估计特征重要性，并提供交叉口之间时空依赖关系的解释。然而，尽管该方法提供了较强的分析可解释性，但缺乏直观的可视化可解释性，并且没有显式捕捉交通流与信号相位之间的结构化关系。

Hu 等人\[38 (https://arxiv.org/html/2607.03703#bib.bib38)\]提出了一种可解释的RL框架，该框架集成了基于注意力的深度Q网络，用于建模车辆级别的交互并优先考虑关键车辆进行决策。该研究直接编码单个车辆属性，通过注意力可视化和反事实分析实现更细粒度的控制和更高的透明度。实验结果表明，与常规方法和基于RL的基线相比，该方法在行驶时间和排队减少方面取得了显著改进，同时为所学控制策略提供了可解释的见解。尽管有这些进展，但依赖于车辆级表示带来了一些挑战，即可扩展性以及与通常可用的交通检测基础设施（通常聚合到车道或流向级别）的兼容性。此外，基于值的方法限制了在处理复杂动作空间和时间依赖关系方面的灵活性。

### II-C 用于可解释性的注意力机制

最初由 Bahdanau 等人\[39 (https://arxiv.org/html/2607.03703#bib.bib39)\]提出，用于克服机器翻译中的信息瓶颈，注意力机制旨在动态映射输入和输出序列之间的依赖关系。后续的架构集成，特别是将缩放点积注意力与残差连接\[40 (https://arxiv.org/html/2607.03703#bib.bib40)\]、位置编码和层归一化\[41 (https://arxiv.org/html/2607.03703#bib.bib41)\]相结合，最终形成了 Vaswani 等人\[42 (https://arxiv.org/html/2607.03703#bib.bib42)\]提出的Transformer架构。除了在自然语言处理（NLP）中的基础性主导地位外，Transformer框架已在包括计算机视觉\[43 (https://arxiv.org/html/2607.03703#bib.bib43)\]、结构生物学\[44 (https://arxiv.org/html/2607.03703#bib.bib44)\]和分子设计\[45 (https://arxiv.org/html/2607.03703#bib.bib45)\]在内的多个机器学习领域中变得无处不在。

除了驱动最先进的预测性能外，注意力权重越来越被用作模型可解释性的内在层。由于这些权重提供了模型对空间或时间输入关注度的可量化分布，它们为了解深层架构原本不透明的决策过程提供了一个窗口。这种可解释性已在多个领域得到利用，包括使用逆向时间双注意力机制进行医学诊断编码\[46 (https://arxiv.org/html/2607.03703#bib.bib46),47 (https://arxiv.org/html/2607.03703#bib.bib47)\]，以及图像描述，其中空间注意力热图被叠加以可视化驱动文本输出的确切像素区域\[48 (https://arxiv.org/html/2607.03703#bib.bib48)\]。

至关重要的是，这种解释能力已扩展到可解释的RL领域。在安全关键系统中，注意力增强的智能体可以将内部策略直接映射回可观察的环境状态\[49 (https://arxiv.org/html/2607.03703#bib.bib49)\]。

## III. 问题建模

本节介绍所提出的基于注意力的RL框架在交通信号控制中的建模。该问题被建模为半马尔可夫决策过程（SMDP），以考虑信号控制的事件驱动特性，其中动作的执行...