SIGMA：对称性感知、智能、几何、多目标自适应控制的鲁棒可靠交通管理

# SIGMA：面向对称性、智能化、几何化、多目标自适应控制的鲁棒可靠交通管理  
来源：https://arxiv.org/html/2608.18263  

Jagadish B  
SQC与运筹学系  
印度统计研究所  

Tanmay Sen  
SQC与运筹学系  
印度统计研究所  

Tanujit Chakraborty  
索邦人工智能中心  
阿布扎比索邦大学  
邮箱：[tanujit\.chakraborty@sorbonne\.ae](mailto:)

###### 摘要  
交通信号控制是一个具有挑战性的序列决策问题，需要在平衡多个竞争目标——包括交通吞吐量、车辆延误公平性、信号稳定性、可预测切换及紧急车辆优先通行——的同时，实现可靠且及时的自适应。现有的强化学习（RL）方法通常优化预定义目标，对动态变化的操作优先级支持有限，且在几何等价的交叉口间泛化能力较差。我们提出SIGMA（对称性感知、智能、几何化、多目标自适应交通控制），这是一个结合大语言模型（LLM）以实现动态目标适应和方向不变策略学习的可靠性增强型RL框架。SIGMA将自然语言紧急指令转换为引导多目标演员-评论家控制器的优先向量，避免了手动重设奖励函数。对称性感知的旋转增强技术提升了在同质四路交叉口间的迁移能力，而离线到在线学习策略则提供了稳定的初始化及对交通状况演变的后续适应。为评估系统可靠性，我们建立了刻画紧急服务水平、LLM故障时的优雅降级以及对交通需求扰动敏感性的结构特性，并辅以基于自助法的统计验证。我们使用SUMO在四个基于印度加尔各答交通场景建模的城市交叉口上对SIGMA进行评估，对比了定时控制、感应控制和深度Q网络控制器。SIGMA在降低平均等待时间、紧急等待时间和排队长度的同时提高了交通吞吐量。实证可靠性分析和消融研究进一步证明了其对组件故障和几何方向的鲁棒性。总体而言，SIGMA提供了一个可靠且自适应的智能交通控制框架，融合了语言引导决策、多目标学习和统计可靠性评估。  

## 1 引言  
传统交通信号控制策略\[45 (https://arxiv.org/html/2608.18263#bib.bib45)\]，包括定时控制、自适应控制技术和感应控制器，依赖于预定时序方案或局部传感器测量。尽管这些方法计算效率高且易于部署，但它们无法有效适应快速变化的交通条件或协调多个常相互冲突的操作目标。为克服这些局限，元启发式优化技术，如遗传算法（GA）、粒子群优化（PSO）和蚁群优化（ACO），已被广泛研究用于优化信号时序方案\[51 (https://arxiv.org/html/2608.18263#bib.bib51), 52 (https://arxiv.org/html/2608.18263#bib.bib52)\]。这些方法通过在预定义交通条件下搜索近最优信号调度来提升交通性能。然而，它们通常需要重复优化、细致的参数调整和显式交通模型，使得在高动态交通环境中实时适应变得困难\[36 (https://arxiv.org/html/2608.18263#bib.bib36), 38 (https://arxiv.org/html/2608.18263#bib.bib38), 57 (https://arxiv.org/html/2608.18263#bib.bib57), 56 (https://arxiv.org/html/2608.18263#bib.bib56)\]。  

强化学习（RL）已成为自适应交通信号控制的有效框架\[2 (https://arxiv.org/html/2608.18263#bib.bib2), 3 (https://arxiv.org/html/2608.18263#bib.bib3), 7 (https://arxiv.org/html/2608.18263#bib.bib7)\]。在基于RL的系统中，交通条件表示为状态，信号相位构成动作，控制器通过与环境交互学习最大化长期交通性能的策略\[5 (https://arxiv.org/html/2608.18263#bib.bib5)\]。深度强化学习、图神经网络和多智能体协调方面的最新进展显著提升了学习到的交通控制器的可扩展性和有效性\[7 (https://arxiv.org/html/2608.18263#bib.bib7), 8 (https://arxiv.org/html/2608.18263#bib.bib8), 9 (https://arxiv.org/html/2608.18263#bib.bib9), 10 (https://arxiv.org/html/2608.18263#bib.bib10), 11 (https://arxiv.org/html/2608.18263#bib.bib11), 12 (https://arxiv.org/html/2608.18263#bib.bib12), 15 (https://arxiv.org/html/2608.18263#bib.bib15)\]。然而，仍存在几个重要挑战。  

现有的基于RL的控制器通常假设优化目标在训练前指定，并在部署期间保持固定。然而在实践中，交通管理优先级可能动态变化。例如，接近的救护车可能需要立即的信号优先权，而交通管理部门可能在事故或公共事件后临时优先考虑主干道。整合此类高层操作决策通常需要手动重新设计奖励函数或引入特定于应用的规则，限制了现有方法的灵活性\[4 (https://arxiv.org/html/2608.18263#bib.bib4), 13 (https://arxiv.org/html/2608.18263#bib.bib13)\]。  

其次，大多数RL控制器依赖局部交通描述符，如排队长度或等待时间。尽管对于交叉口级优化有效，但这些表示仅提供交通状态的局部视图，常常无法捕捉交通压力、下游拥堵、回溢效应或竞争优化目标间的相互作用。因此，在统一学习框架内平衡交通效率、公平性、信号稳定性、可预测性和紧急响应仍然困难\[7 (https://arxiv.org/html/2608.18263#bib.bib7), 12 (https://arxiv.org/html/2608.18263#bib.bib12), 21 (https://arxiv.org/html/2608.18263#bib.bib21)\]。  

第三，学习到的策略在不同几何方向的交叉口间泛化能力往往较差。两个同质的四路交叉口可能除了90°旋转外完全相同，但传统RL策略将它们视为不同环境，因为交通语义被绑定到绝对基本方向而非相对交通模式。结果，策略常常需要针对每次部署进行昂贵的重训练\[10 (https://arxiv.org/html/2608.18263#bib.bib10), 11 (https://arxiv.org/html/2608.18263#bib.bib11)\]。  

尽管有这些进展，优化交通信号控制本质上仍是一个多目标优化问题。实际的交通管理需要同时提高交通吞吐量、减少车辆等待时间、保持竞争交通流之间的公平性、确保平滑可预测的信号切换，以及快速响应紧急车辆。这些目标常常相互冲突，优化一个目标可能会对其他目标产生不利影响。为解决这一挑战，近期研究将多目标强化学习（MORL）纳入交通信号控制。现有的MORL方法通常将多个性能指标表述为加权奖励函数或帕累托优化目标。代表性例子包括联合优化交通效率和碳排放的协作多目标强化学习、用于可扩展城市交通管理的分层强化学习，以及结合RL的进化多目标优化\[48 (https://arxiv.org/html/2608.18263#bib.bib48), 50 (https://arxiv.org/html/2608.18263#bib.bib50), 46 (https://arxiv.org/html/2608.18263#bib.bib46), 49 (https://arxiv.org/html/2608.18263#bib.bib49), 47 (https://arxiv.org/html/2608.18263#bib.bib47), 35 (https://arxiv.org/html/2608.18263#bib.bib35), 40 (https://arxiv.org/html/2608.18263#bib.bib40), 44 (https://arxiv.org/html/2608.18263#bib.bib44), 41 (https://arxiv.org/html/2608.18263#bib.bib41), 54 (https://arxiv.org/html/2608.18263#bib.bib54), 58 (https://arxiv.org/html/2608.18263#bib.bib58), 37 (https://arxiv.org/html/2608.18263#bib.bib37)\]。这些方法已经证明，同时优化多个目标可以产生比传统单目标强化学习更平衡的交通控制策略。  

尽管这些研究代表了迈向实际交通信号优化的重要一步，但仍存在几个重要局限。首先，大多数现有方法假设优化目标及其相关的奖励权重在训练前预定义，并在整个部署过程中保持固定。然而在实践中，交通管理优先级经常变化。例如，紧急车辆可能需要立即的信号优先权，交通管理部门可能在事故后临时优先考虑主干道，或者在高峰时段拥堵缓解可能变得更加重要。使现有控制器适应这些变化的操作需求通常需要手动重新设计奖励函数或重训练强化学习策略。其次，大多数现有方法主要关注优化交通效率和有限数量的额外目标，而忽略了在统一优化框架内交通压力、等待时间公平性、信号切换稳定性、可预测信号切换和紧急响应之间的相互作用。因此，平衡这些竞争目标仍然是一个挑战性问题。第三，学习到的策略通常在具有不同几何方向的交叉口间表现出有限的迁移能力。为某个交叉口训练的策略在部署到另一个几何等价但进口道仅发生旋转的交叉口时，常常需要重训练，这增加了部署成本并降低了实际适用性\[55 (https://arxiv.org/html/2608.18263#bib.bib55), 53 (https://arxiv.org/html/2608.18263#bib.bib53)\]。  

大语言模型（LLM）的最新进展为解决这些局限提供了新的机会。与依赖预定义数值奖励函数的传统强化学习不同，LLM能够解释以自然语言表达的高层指令，并将其转换为适合下游决策的结构化表示。LLM并非取代强化学习，而是可以作为人类操作员和交通控制器之间的接口，使得操作优先级能够在不手动重新设计奖励函数的情况下动态修改。这种能力对于智能交通系统尤其具有吸引力，因为紧急情况和变化的交通管理策略需要快速适应，而仅靠静态优化目标难以实现编码\[42 (https://arxiv.org/html/2608.18263#bib.bib42), 43 (https://arxiv.org/html/2608.18263#bib.bib43)\]。  

为解决这些局限，我们提出SIGMA（对称性感知、智能化、几何化、多目标自适应交通控制），这是一个LLM引导的强化学习框架，用于自适应且方向不变的交通信号控制。当操作优先级发生变化时，SIGMA无需重新设计奖励函数，而是允许交通操作员用自然语言表达高层指令。这些指令由大语言模型（LLM）解释，并转换为在决策过程中引导RL控制器的优先向量。为提高策略在同质四路交叉口间的迁移能力，SIGMA采用对称性感知的旋转增强技术，学习方向不变策略而无需针对每个地点进行重训练。控制器联合优化交通吞吐量、等待时间公平性、信号稳定性、可预测信号切换和紧急响应能力，而离线预训练阶段后的在线策略精调使得稳定学习并能适应实时交通状况。  

本文的主要贡献总结如下：  
- • 我们引入了一个基于LLM的接口，可将自然语言交通管理指令转换为优先向量，允许在部署期间修改操作优先级，无需手动重新设计奖励函数。  
- • 我们开发了一种旋转增强策略，为同质四路交叉口学习方向不变策略，实现无需针对每个地点重训练的策略迁移。  
- • 我们将交通信号控制表述为可微的多目标优化问题，联合考虑交通吞吐量、等待时间公平性、信号稳定性、可预测信号切换和紧急响应能力。  
- • 我们将监督式离线预训练与在线强化学习相结合，在获得稳定初始化的同时允许持续适应演变的交通状况。  

我们在SUMO交通仿真器中使用源自印度加尔各答城市交通场景的现实四路交叉口模型评估SIGMA，并将其与定时控制、感应控制和深度Q网络（DQN）控制器进行比较。实验结果表明，SIGMA在降低平均等待时间、紧急等待时间和排队长度的同时提高了交通吞吐量，表明可以在不牺牲整体交通效率的情况下实现紧急车辆优先通行。  

本文其余部分的组织结构如下。第2节 (https://arxiv.org/html/2608.18263#S2) 回顾相关工作。第3节 (https://arxiv.org/html/2608.18263#S3) 形式化交通信号控制问题。第4节 (https://arxiv.org/html/2608.18263#S4) 介绍提出的SIGMA框架。第5节 (https://arxiv.org/html/2608.18263#S5) 进行理论分析。第7节 (https://arxiv.org/html/2608.18263#S7) 报告实验结果。第8节 (https://arxiv.org/html/2608.18263#S8) 讨论局限性和未来方向。最后，第9节 (https://arxiv.org/html/2608.18263#S9) 总结全文。  

## 2 相关工作  
交通信号控制已从基于规则的方法演进到基于学习的范式。早期方法通常分为两类。预定时控制\[21 (https://arxiv.org/html/2608.18263#bib.bib21), 22 (https://arxiv.org/html/2608.18263#bib.bib22), 23 (https://arxiv.org/html/2608.18263#bib.bib23)\]基于从历史数据获得的固定绿灯时间，而车辆感应控制\[24 (https://arxiv.org/html/2608.18263#bib.bib24), 25 (https://arxiv.org/html/2608.18263#bib.bib25)\]响应检测器，但依赖手工规则，无法预测未来或协调整个网络。这些局限性促进了更智能策略的使用。  

##### 使用强化学习进行交通控制适应：强化学习（RL）使智能体能够通过与环境的交互直接最大化长期奖励，例如减少延误\[26 (https://arxiv.org/html/2608.18263#bib.bib26), 27 (https://arxiv.org/html/2608.18263#bib.bib27), 28 (https://arxiv.org/html/2608.18263#bib.bib28)\]。早期的表格型Q学习\[29 (https://arxiv.org/html/2608.18263#bib.bib29), 30 (https://arxiv.org/html/2608.18263#bib.bib30)\]局限于小型离散状态，但深度RL\[31 (https://arxiv.org/html/2608.18263#bib.bib31), 32 (https://arxiv.org/html/2608.18263#bib.bib32), 33 (https://arxiv.