Sim2Signal：交通信号控制的模拟到现实基准测试

# Sim2Signal：面向交通信号控制的仿真到现实基准测试

来源：https://arxiv.org/html/2609.01676
作者：Ferdous Al Rafi、Susrik Mukherjee、Latika Liladhar Dekate、Jennifer Yawa Lavoe、Huaiyuan Yao、Shlok Mohanty、Longchao Da、Xuesong Zhou、Hua Wei
隶属机构：亚利桑那州立大学
\{frafi1, smukhe61, ldekate, jlavoe, huaiyuan, smohan62, longchao, xzhou74, hua\.wei\}@asu\.edu

###### 摘要
强化学习在仿真环境中取得了优异的交通信号控制性能，然而，在仿真器中训练的策略一旦部署到现实世界中，往往会失效，这种现象被称为“仿真到现实差距”。当强化学习应用于交通信号控制时，这种差距源于多个方面：感知、动作执行、交通动态和控制目标。目前，我们对这些因素的相对影响以及现有仿真到现实缓解方法的可靠性仍理解不足，并且该领域缺乏一个系统化测量差距和评估缓解方法的标准基准。

我们推出Sim2Signal基准，它将仿真到现实差距分解为观察差距、动作差距、转移差距和奖励差距，分别对应底层马尔可夫决策过程的四个组成部分的不匹配，并在统一的协议下独立引发每种差距。我们基于来自5个真实地点的10个经过校准的交通网络，在33种差距设置下，对2种基础控制器上的18种缓解方法进行了评估。我们发现，在所有四种差距来源下，直接迁移都会导致性能下降，但下降的严重程度并不能预测缓解措施的有效性。相反，缓解效果在很大程度上取决于网络和差距设置：在动作差距之外，一种在某种情况下有效的方法在另一种情况下可能会失败。最有效的方法通常是估计差距改变的量，而不是通过领域随机化或不变表示使策略对变化不敏感。我们的代码已发布在：https://github.com/Red-Pheonix/Sim2RealTSCBenchMark。

## 1 引言
交通信号控制在现代城市交通系统中扮演着至关重要的角色，它通过在交叉口协调车辆流并缓解拥堵[1 (https://arxiv.org/html/2609.01676#bib.bib1)]。近年来，强化学习已成为自适应交通信号控制的一种有前途的方法，使策略能够直接从数据中学习复杂的控制策略。大量研究已经证明，基于强化学习的控制器在仿真交通环境中可以超越传统的基于规则或基于优化的方法[2 (https://arxiv.org/html/2609.01676#bib.bib2),3 (https://arxiv.org/html/2609.01676#bib.bib3)]。然而，尽管有这些令人鼓舞的结果，将训练好的策略部署到现实世界的交通系统仍然充满挑战[4 (https://arxiv.org/html/2609.01676#bib.bib4)]。其中一个核心障碍是*仿真到现实差距*，即在仿真中训练的策略一旦应用于现实环境，其性能就会失效[5 (https://arxiv.org/html/2609.01676#bib.bib5)]。在交通信号控制中，仿真环境不可避免地简化了真实交通系统的许多方面，包括感知能力、动作执行、交通动态和控制目标[6 (https://arxiv.org/html/2609.01676#bib.bib6)]。因此，仿真与现实之间的差异可能导致策略行为异常和性能显著下降。因此，理解这些差异的来源对于开发在现实世界部署中可靠的、基于学习的交通信号控制器至关重要。

在实践中，交通信号控制的仿真到现实差距可能源于几个不同的方面。例如，现实世界的传感系统可能提供比仿真状态更不完整或有噪声的交通观察。真实的交通动态可能与仿真器中使用的简化车辆行为模型有显著差异[7 (https://arxiv.org/html/2609.01676#bib.bib7)]。类似地，信号动作可能受到训练期间未捕获的执行延迟或约束的影响[8 (https://arxiv.org/html/2609.01676#bib.bib8)]。甚至用于训练的奖励函数也可能无法反映现实世界的控制目标[9 (https://arxiv.org/html/2609.01676#bib.bib9)]。尽管许多研究承认这些差异，但它们对策略性能的相对影响以及当前仿真到现实方法的鲁棒性仍然理解不足。这是因为该领域缺乏一个一致、全面的基准来评估仿真到现实迁移，随着基于学习的交通信号控制迈向现实世界部署，这种需求变得越来越重要。

图1：Sim2Signal概述。策略π在Esim中训练，并在Ereal中部署，后者是扮演现实世界的第二个受控环境。此sim2sim协议隔离了四种编号的差距来源。中间的框列出了每种差距引发的设置，以及在每个方法族下评估的针对该设置的18种缓解方法。附录A.2 [https://arxiv.org/html/2609.01676#A1.SS2]对方法族进行了扩展。每种方法都在共享的回合预算下，遵循相同的预训练、训练、部署流程，基于一个基础控制器（DQN或PressLight）。直接迁移不应用任何缓解措施，作为参考。评分为Δ = mreal - msim，其中m为平均行程时间（除非另有说明）。对于奖励差距，Rreal在Esim中无法计算，因此方法通过与一个在真实目标上训练的奖励预言机的遗憾值来评分。
为了满足这一需求，我们引入了一个用于研究交通信号控制中仿真到现实迁移的综合基准。我们的核心思想是系统地将仿真到现实差距分解为四个来源，分别对应环境定义的马尔可夫决策过程的四个组成部分：*观察*、*动作*、*转移*和*奖励*差距。基于这种分解，我们构建了一个统一的实验框架，为每个来源引入受控的差异，并让第二个受控环境扮演现实世界的角色。我们在标准的基础强化学习控制器上评估现有的仿真到现实缓解方法，以研究它们在每种差距下的鲁棒性。我们发现，每种差距都会降低部署控制器的性能，但下降的幅度并不能预测缓解措施能恢复多少性能。恢复往往来自于估计差距改变的量，例如延迟动作最终到达的状态，或有噪声传感器背后的真车辆数，而不是使策略对变化不敏感，无论是通过随机化训练还是不变表示。

总而言之，本工作做出了以下贡献：
- • 我们推出了Sim2Signal基准，它将仿真到现实问题分解为观察、动作、转移和奖励差距，并在统一的协议下引发每种差距。该基准涵盖33种差距设置和来自5个真实地点的10个经过校准的交通网络，包括2个新数据集。代码和数据集包含在代码和数据补充材料中。
- • 我们使用2种基础控制器评估了18种仿真到现实缓解方法。在统一协议下运行它们，使得跨差距来源、网络、设置和基础控制器的比较成为可能。
- • 我们发现，动作差距存在在我们测试的网络和设置上都有效的方法。其他三种差距则没有：一种在某个网络和设置上有效的方法可能在另一个上失败，并且在某些情况下，每种方法都比不采取任何缓解措施使控制器更糟。

## 2 相关工作
#### 面向交通信号控制的强化学习
强化学习应用于交通信号控制已有二十年历史[10 (https://arxiv.org/html/2609.01676#bib.bib10)]。广泛的一类强化学习控制器报告了在仿真环境中相对于传统方法的增益[2 (https://arxiv.org/html/2609.01676#bib.bib2),11 (https://arxiv.org/html/2609.01676#bib.bib11)]，正如[Wei等人[3](https://arxiv.org/html/2609.01676#bib.bib3)]所总结的那样。然而，大多数评估报告的是策略在其训练条件下的表现，而非该表现在条件改变后是否依然成立。

#### 面向交通信号控制的仿真到现实缓解
仿真到现实缓解方法通常假设一个已知的差距来源，并为此专门设计一种机制。面向观察的工作随机化传感器输入并研究感知退化，包括传感器故障、部分检测和无传感器交叉口[12 (https://arxiv.org/html/2609.01676#bib.bib12)]。面向动作的方法通过掩码、安全模型、奖励和损失约束来编码允许的相位转换或信号配时规则[13 (https://arxiv.org/html/2609.01676#bib.bib13)]。转移方法使用基于物理的动作转换或元学习来适应不同的车辆动态、交通流和交叉口[5 (https://arxiv.org/html/2609.01676#bib.bib5),14 (https://arxiv.org/html/2609.01676#bib.bib14),15 (https://arxiv.org/html/2609.01676#bib.bib15),12 (https://arxiv.org/html/2609.01676#bib.bib12)]。面向奖励的研究扩展了交通目标，纳入了排放、噪音、行人、公平性和安全性[16 (https://arxiv.org/html/2609.01676#bib.bib16),13 (https://arxiv.org/html/2609.01676#bib.bib13)]，将部署目标视为给定。这些机制是针对单一差距逐一开发，并在各自的网络、仿真器和基线上进行评估的，因此哪种差距危害最大，以及一种方法在构建它的设置之外表现如何，都是未知的。

#### 面向部署的交通信号控制
面向部署的工作通过增加对特定地点的保真度来减少差距。最近的一篇综述指出，不完美的检测、场景不匹配、监管约束、安全要求以及在线探索的成本是核心的部署障碍[17 (https://arxiv.org/html/2609.01676#bib.bib17)]。实际系统通过校准的数字孪生、真实需求数据、从有缺陷的检测器进行状态估计以及允许的信号方案来解决这些问题[18 (https://arxiv.org/html/2609.01676#bib.bib18)]，或者通过商业控制器上的硬件在环执行[19 (https://arxiv.org/html/2609.01676#bib.bib19)]。这些系统是为单个地点构建并端到端测试的，因此很难判断这些修复中哪项起了作用，或者它们减少了多少差距。

#### 交通信号控制基准
现有基准标准化了如何比较强化学习交通信号控制器，而非它们如何从仿真迁移到部署。一些在单个仿真器上固定了一组场景和基线，如RESCO[20 (https://arxiv.org/html/2609.01676#bib.bib20)]和SUMO-RL[21 (https://arxiv.org/html/2609.01676#bib.bib21)]。另一些则统一了多个仿真器背后的API，使得一个控制器可以在多个仿真器上运行，如TSLib[22 (https://arxiv.org/html/2609.01676#bib.bib22)]、LibSignal[23 (https://arxiv.org/html/2609.01676#bib.bib23)]和PyTSC[24 (https://arxiv.org/html/2609.01676#bib.bib24)]。第三组将评估推向部署条件，其场景基于真实交叉口及其生产控制器逻辑[25 (https://arxiv.org/html/2609.01676#bib.bib25)]或缩放的物理端点[26 (https://arxiv.org/html/2609.01676#bib.bib26)]。这些提供了更真实的环境进行测试，但它们并未隔离单个差距来源。这些基准没有一个在统一的协议下评估针对每种差距来源的缓解方法。

在这些研究方向中，差距通常被识别或减少，而非被基准化。一些研究一次针对一个差距，一些构建单个站点的端到端系统，一些在理想化的、永不改变的条件下比较控制器。因此，在训练和评估之间没有任何变化的情况下报告的结果对部署说明甚少，旨在弥合仿真到现实差距的缓解方法本身也从未被衡量过。在本文中，Sim2Signal将每种差距来源设为受控变量，将缓解方法作为评估对象。

## 3 Sim2Signal 基准
图2：Sim2Signal的五个地点。每列对应一个地点：每个仿真网络构建自的真实世界范围，受控交叉口用黄点标记。每个地点提供一个单交叉口网络和一个多交叉口网络，总共十个，涵盖1到16个信号灯。图中显示的是多交叉口网络。在引发任何差距之前，所有十个网络都经过校准以匹配平均行程时间和吞吐量。坦佩和布尔黑德（橙色）是本工作的新内容，构建自真实的UTDF信号方案数据[27 (https://arxiv.org/html/2609.01676#bib.bib27)]。其余的改编自先前的研究文献[20 (https://arxiv.org/html/2609.01676#bib.bib20),2 (https://arxiv.org/html/2609.01676#bib.bib2)]，并进行了仔细校准。只有这两个地点携带NEMA信号方案，因此只有它们能引发相位转换差距。

### 3.1 统一协议
#### 环境。Sim2Signal运行在LibSignal[23 (https://arxiv.org/html/2609.01676#bib.bib23)]上，它统一了CityFlow[28 (https://arxiv.org/html/2609.01676#bib.bib28)]和SUMO[7 (https://arxiv.org/html/2609.01676#bib.bib7)]。图1 [https://arxiv.org/html/2609.01676#S1.F1]给出了概述。我们使用sim2sim设置[29 (https://arxiv.org/html/2609.01676#bib.bib29)]：一个环境是Esim，第二个经过修改的环境扮演Ereal的角色。因为Ereal是完全可控的，所以每种差距都可以被独立引发并精确测量。策略总是在Esim中训练。真实环境仅提供轨迹回放。没有方法在其策略上使用真实奖励进行训练（奖励预言机是唯一的例外）。我们仅研究车辆，将行人留待未来工作。

#### 流程。每种方法都遵循图1 [https://arxiv.org/html/2609.01676#S1.F1]中相同的预训练、训练和部署阶段，基于DQN[30 (https://arxiv.org/html/2609.01676#bib.bib30)]或PressLight[11 (https://arxiv.org/html/2609.01676#bib.bib11)]基础控制器。所有方法都从每个网络和控制器对的一个共享预训练检查点开始，最多花费300个回合，其中最多100个回合在Ereal中运行。对于观察、动作和转移差距，部署报告前五个评估检查点，这是一个刻意宽松的规则：在此规则下仍存在的差距，在更严格的规则下也不会消失。奖励差距方法通过设计在真实目标上选择，因此该规则不适用于它们。附录A [https://arxiv.org/html/2609.01676#A1]提供了更多细节。

#### 指标。平均行程时间是观察、动作和转移差距的主要指标，遵循先前交通信号控制的仿真到现实研究[5 (https://arxiv.org/html/2609.01676#bib.bib5)]。对于一个指标m，性能差距为Δ = mreal - msim，因此成本指标上的正Δ表示迁移损害了性能。奖励差距不接受这样的减法，因为Rreal在Esim中无法计算。我们转而报告相对于奖励预言机的遗憾值，该预言机是直接在Ereal中针对真实目标训练的策略，且不受回合预算限制。对于一个策略π，regretπ = Roracle - Rπ，regretDT表示直接迁移的遗憾值。附录A [https://arxiv.org/html/2609.01676#A1]涵盖了其余指标以及奖励遗憾值跨网络的可比性。

### 3.2 网络与校准
该基准涵盖五个地点：坦佩和布尔黑德城（美国）、科隆和英戈尔施塔特（德国）以及杭州（中国）。每个地点都有一个单交叉口