多模态铁路道口安全分析

# 多模态铁路道口安全分析
来源: https://arxiv.org/html/2607.01365
,Chansong Lim 加州大学河滨分校 加州河滨分校 美国,Nícolas Roque dos Santos 加州大学河滨分校 加州河滨分校 美国,Yue Dong 加州大学河滨分校 加州河滨分校 美国,Sheldon Peterson 河滨县交通委员会 加州河滨分校 美国,Jia Chen 加州大学河滨分校 加州河滨分校 美国andEvangelos E\. Papalexakis 加州大学河滨分校 加州河滨分校 美国

\(2009年6月5日\)

###### 摘要。

给定一张或多张铁路道口的图像，我们能否利用视觉线索来稳健地评估其安全程度？通过引入有关该道口事故历史的结构化数据（如官方事故报告），是否能提升我们进行此类评估的能力？在这项工作中，我们探讨如何最好地回答这些问题，以构建一个能够接收铁路道口多模态数据并提供与专家意见及美国联邦铁路管理局（FRA）使用的安全评分相一致的安全评估和评分的人工智能系统。为此，我们提出了一个实现该目标的概念验证流程，同时探索并解决了流程中不同部分（从数据准备到可实现此类系统的不同学习范式）的若干关键研究挑战。作为指示性成果，我们提出的系统能够以0.757的宏F1分数识别高风险和低风险道口，并通过路由微调后的紧凑型VLM流水线，以0.078的均方根误差（RMSE）和0.492的相关性估算基于FRA的安全评分，同时产出与领域专家评估一致的定性结果。

铁路道口安全，智能交通系统，视觉语言模型

††copyright:acmlicensed††journalyear:2018††doi:XXXXXXX\.XXXXXXX††conference:确保从权利确认邮件中输入正确的会议标题；2018年6月03-05日；纽约州伍德斯托克††isbn:978-1-4503-XXXX-X/2018/06††ccs:计算方法 场景理解††ccs:应用计算 交通††ccs:计算方法 机器学习## 1\.引言

公路-铁路平交道口是美国交通系统中一个关键的安全问题。每年，这些道口会发生超过2,000起碰撞事故和200多人死亡，使其成为全国范围内铁路相关死亡事故的第二大原因（Federal Railroad Administration, (https://arxiv.org/html/2607.01365#bib.bib15)）。因此，提高道口安全需要可靠的方法来评估风险并优先安排干预措施。然而，这具有挑战性，因为道口风险取决于多种相互作用的因素，包括铁路交通、道路特性、道口基础设施、天气条件、能见度以及公路使用者的行为。在实践中，评估这些因素通常需要专业知识和对道口状况的仔细检查。鉴于道口数量庞大且专家注意力在任何时间点都有限，手动评估道口安全难以扩展，这促使我们开发人工智能辅助工具进行系统化的道口安全评估。

现有的铁路道口风险评估方法主要依赖于统计模型。例如，事故预测与严重性（APS）（Farr and Hitz,1987 (https://arxiv.org/html/2607.01365#bib.bib2); Brod and Gillen,2020 (https://arxiv.org/html/2607.01365#bib.bib3)）模型提供了一个评估道口风险的标准化框架，其输出通过美国联邦铁路管理局（FRA）的平交道口事故预测系统（GXAPS）111GXAPS 可通过 https://railroads.dot.gov/railroad-safety/divisions/crossing-safety-and-trespass-prevention/grade-crossing-accident 获取。提供。该工具支持识别高风险道口，并帮助指导有限安全资源的分配。然而，由于APS依赖于预定义的道口变量（例如，每日列车数量和年均日交通量），它们可能无法完全捕捉到接近道口的公路使用者观察到的视觉和依赖上下文的因素。同时，先前的研究表明，不准确或不完整的道口库存数据会显著影响碰撞和严重性预测，导致估计的风险和道口排名存在差异（Farooq,2023 (https://arxiv.org/html/2607.01365#bib.bib16)）。

这些挑战促使我们利用视觉信息作为道口安全评估的补充证据来源。这对于公路-铁路平交道口尤其相关，因为安全不仅取决于数据库中记录的道口属性，还取决于公路使用者接近轨道时能够感知到的东西。街景图像可以代表这种视角，并揭示难以仅通过结构化字段和预定义变量编码的安全相关线索，例如警告装置的可见性、视线、视觉障碍物、道路几何形状、天气效应以及周围环境。因此，这种视觉视角可以通过捕捉公路使用者接近道口时观察到的信息来支持风险评估。

对这些视觉观察结果进行推理需要能够理解复杂场景以及与安全相关概念相关的视觉线索的模型。近年来，视觉语言模型（VLMs）已被探索应用于多种与安全相关的评估任务，包括铁路侵入感知（Tianet al.,2026 (https://arxiv.org/html/2607.01365#bib.bib8)）、列车驾驶室视角场景中的安全导向推理（Zhanget al.,2026 (https://arxiv.org/html/2607.01365#bib.bib9)）、道路安全评估（Jongwiriyanuraket al.,2025 (https://arxiv.org/html/2607.01365#bib.bib10)）以及工作场所危险分析（Wuet al.,2025 (https://arxiv.org/html/2607.01365#bib.bib14); Adilet al.,2025 (https://arxiv.org/html/2607.01365#bib.bib12)）。这些研究表明，VLM能够对复杂视觉场景进行推理，并生成对安全关键条件的描述。然而，这些努力尚未从公路使用者的角度解决公路-铁路平交道口安全问题，而风险恰恰取决于驾驶员如何看待道口基础设施和周围环境。

为填补这一空白，我们研究VLM能否通过连接街景视觉证据、历史事故记录和官方风险评分，支持可扩展的公路-铁路平交道口安全分析。具体来说，我们引入了一个多模态流程，该流程将道口图像序列与FRA 57表格记录相结合，并在两个互补任务中评估VLM：**风险评分**与**视觉风险检查**。

在风险评分任务中，我们评估VLM能否根据多模态道口信息估计APS道口风险评分。我们考虑了仅图像提示、使用图像和57表格记录提示以及模型微调。我们既将该问题作为二分类风险任务（模型识别道口是低风险还是高风险）研究，也作为连续分数预测任务（模型估计年均预测事故分数）研究。为了更好地处理风险评分的偏态分布，我们进一步评估了一种路由预测策略，该策略先将道口分为不同风险组，再估计其分数。

在视觉风险检查任务中，我们检验VLM能否从公路使用者的角度识别与安全相关的视觉因素。我们不要求模型以无约束的方式描述风险，而是将分析建立在事故理论基础上，并使用预定义的威胁类别、安全基础设施和升级因素。我们还评估了模型在增强的天气和照明条件下（如雨、强日照和夜间）的表现，以评估视觉条件如何影响警告装置和其他道口特征的可见性。

我们的结果表明，VLM在铁路道口安全分析方面具有潜力，微调提高了它们根据多模态道口数据估计风险的能力。除了分数预测，模型还显示出从公路使用者角度识别视觉安全因素的潜力，突显了它们捕捉与道口安全相关的视觉证据的能力。

我们的主要贡献如下：

- •我们提出了一种用于公路-铁路平交道口安全评估的多模态流程，该流程将街景道口图像与FRA 57表格事故记录相结合。
- •我们研究了基于VLM的风险评分估计，其中模型根据多模态道口信息预测FRA风格的安全评分。
- •我们提供了定量和定性分析，说明VLM如何能够超越单一的结构化评分变量，支持铁路道口安全评估。

参照图注 图1\.我们提出流程的概述。在基于评分的分析中，使用道口图像和FRA事故记录来估计风险评分，并与FRA的官方评分系统进行对比评估。在基于描述的分析中，对图像进行预处理增强以模拟不同的天气和照明条件，如雨和夜间，使VLM能够检查视觉风险因素，例如被遮挡的信号、信号可见性差或阻挡驾驶员视野的物体。
## 2\.相关工作

### 2\.1\.铁路风险评分

在过去几十年里，美国交通部（DOT）一直使用事故预测与严重性（APS）模型（Farr and Hitz,1987 (https://arxiv.org/html/2607.01365#bib.bib2)）来识别高风险道口、评估其风险水平，并基于使用道口特征（如每日通过列车总数）进行非线性回归开发的公式预测潜在事故。然而，由于其一致性和预测率较低，DOT定期调整模型系数，并探索其他辅助方法，包括高速铁路（HSR）事故严重性模型（Mironeret al.,2000 (https://arxiv.org/html/2607.01365#bib.bib4)）以及来自列车喇叭规则（49 CFR 222）的补充安全措施影响，该规则要求机车工程师在到达公共公路-铁路平交道口前鸣响列车喇叭（Federal Railroad Administration,2006 (https://arxiv.org/html/2607.01365#bib.bib21),2025 (https://arxiv.org/html/2607.01365#bib.bib20)）。

尽管做出了这些努力，但随着铁路和公路的动态变化（例如道口环境和车辆趋势）随时间显著改变，DOT不得不将之前的APS模型重新设计为新的公式（Brod and Gillen,2020 (https://arxiv.org/html/2607.01365#bib.bib3)）。新方法的预测模型采用零膨胀负二项（ZINB）回归来适当处理从未发生过事故的道口，并使用经验贝叶斯（EB）方法调整偏向均值的回归结果。他们还通过校准三个类别（致命、受伤和仅财产损失）的概率来完善严重性模型。

新模型通过与之前的APS模型进行比较验证，显示在高风险道口预测事故方面准确率提高了30%。它可用于估计或模拟道口基础设施改进或其他环境变化后的风险差异。新的严重性模型还揭示了一些显著决定事故致死性的因素，例如道口位于农村还是城市地区、最大时刻表速度和每日列车数量。

### 2\.2\.用于风险评估和安全的VLM

针对铁路的VLM应用仍然相对有限，但近期的工作已开始探索将VLM用于铁路安全，特别是在需要超越目标检测或分类进行推理的场景中。例如，CogRail (Tianet al.,2026 (https://arxiv.org/html/2607.01365#bib.bib8)) 引入了认知铁路侵入感知基准，评估VLM在位置感知、运动预测和潜在铁路侵入目标的威胁分析等任务上的表现。类似地，RailVQA (Zhanget al.,2026 (https://arxiv.org/html/2607.01365#bib.bib9)) 探索了列车驾驶室视角场景中的视觉问答（VQA），重点关注需要模型对铁路环境进行推理的安全相关问题。

除了铁路安全，VLM还被应用于道路安全评估和其他安全关键领域。V-Roast (Jongwiriyanuraket al.,2025 (https://arxiv.org/html/2607.01365#bib.bib10)) 将道路安全评估表述为VQA任务，使用VLM检查街景图像并推断道路安全属性，无需特定任务的训练数据。ScVLM (Shiet al.,2025 (https://arxiv.org/html/2607.01365#bib.bib11)) 通过结合监督学习、对比学习和基于语言的事件描述，增强了VLM对碰撞和差点碰撞等安全关键事件的理解。SeeUnsafe (Zhanget al.,2025 (https://arxiv.org/html/2607.01365#bib.bib13)) 进一步研究了基于视频的交通事故分析，使用多模态大语言模型代理支持事故感知视频分类、结构化事故描述和视觉定位。更广泛地，相关工作已将VLM应用于施工安全、采矿操作安全和其他危险识别任务（Wuet al.,2025 (https://arxiv.org/html/2607.01365#bib.bib14); Adilet al.,2025 (https://arxiv.org/html/2607.01365#bib.bib12)）。

综合来看，这些研究证明了VLM在识别风险和生成安全关键事件可解释描述方面的潜力。然而，现有的铁路导向工作主要集中在列车运行或侵入感知场景，而更广泛的安全应用则聚焦于道路或工作场所危险检查。相比之下，我们的工作从公路使用者的角度研究公路-铁路平交道口，其安全不仅取决于铁路基础设施，还取决于接近道口的驾驶员观察到的天气状况、布局和环境背景。

## 3\.数据来源

我们的流程依赖于两种互补的信息来源：公开可用的与安全相关的铁路道口事件和街景图像。首先，我们描述公路-铁路平交道口事故/事件报告（57表格），该表格提供了向FRA报告的公路-铁路平交道口安全相关事件的历史记录。然后，我们详细说明铁路道口图像数据集以及用于构建我们多模态系统中最终考虑的道口集合的筛选过程。

公路-铁路平交道口事件数据（57表格）。57表格222有关57表格和现有事件报告的更多信息，请访问 https://data.transportation.gov/stories/s/Highway-Rail-Crossing-Incidents-Landing-Page/9hnw-nt86/ 提供了向FRA报告的铁路道口发生的事故和事件的官方记录。每条记录对应一个涉及铁路轨道设备与公路使用者（如汽车、行人或其他道路使用者）的安全关键事件报告。为了描述这些事件，57表格包含了关于道口位置、日期和时间、天气条件、涉及的公路使用者、涉及的铁路设备、道口处存在的警告装置以及报告伤亡人数的详细信息。

铁路道口图像。我们使用一个加利福尼亚州铁路道口的街景图像数据集，这些图像从开放