构建对人工智能的信任：铁路应用的必要性

# 在人工智能中建立信任：铁路应用的必要条件  
来源：https://arxiv.org/html/2609.18278  
Lébé Vincent Da Silva Ribeiro Pereira Ricardo Sundell Johan Jaoul Arnaud Saiah Kenza Mijatović Nenad  

###### 摘要  
目前人工智能（AI）仅应用于非安全关键领域，这归因于铁路行业严格的标准和法规。我们提出对三个关键领域进行综述，以增强数据科学和AI算法的信任并实现合规：鲁棒性、ODD（操作设计域）和可解释性。鲁棒性是指AI系统在任何情况下保持性能水平的能力（ISO 24029）。ODD允许根据近期发布的DIN DKE SPEC 99004标准，明确界定系统预期运行的操作条件。可解释性则是指AI系统以人类可理解的方式表达影响其结果的重要因素的能力。这三个研究领域已由非铁路领域的参与者进行了深入探索，其算法和方法可直接应用于铁路场景。需要从系统视角确保所有可信性要求在安全的MLOps环境中持续交互，从而促进监管机构、运营商和公众的接受。除了保障安全关键应用，我们旨在表明：建立对AI的深层信任——正如全球监管框架现在所要求的——将释放其全部潜力，并加速其在任务关键领域的采用进程。  

1 阿尔斯通 - 交通数据科学与AI，西班牙马德里  
2 阿尔斯通 - 交通数据科学与AI，法国圣旺  
3 阿尔斯通 - 安全工程，瑞典斯德哥尔摩  
4 阿尔斯通 - 首席AI与数据科学办公室，美国宾夕法尼亚州匹兹堡  

关键词  
人工智能，铁路，交通运输，出行，信任，安全。  

## 1 引言  
Bo Li等人[22 (https://arxiv.org/html/2609.18278#bib.bib4)]所描述的AI所需信任要素包括：鲁棒性、可解释性、透明度、可复现性、泛化能力、公平性、隐私性和可问责性。他们提出的迈向可信AI的理论框架非常完整且有价值，因为模型正日益影响我们的工作方式。本文针对铁路行业在规模化部署AI（包括安全相关项目）时面临的工业鸿沟。我们的论文聚焦于三个研究领域，其突破对于在信任至关重要的场景下部署AI至关重要：鲁棒性、可解释性和ODD。本出版物采用ISO 22989 [16 (https://arxiv.org/html/2609.18278#bib.bib2)]（2022）中呈现的术语，其中"AI系统"在该标准中被定义为：为给定的一组人类定义目标生成内容、预测、建议或决策等输出的工程系统。  

### 1.1 监管环境  
铁路领域的AI监管环境正在迅速演变，并受到行业特定安全标准和跨领域AI法规的双重影响。一项关键发展是欧盟AI法案，其定义为法规（EU）2024/1689 [44 (https://arxiv.org/html/2609.18278#bib.bib12)]，该法案将AI系统按风险分为以下四类：不可接受风险（例如社会评分）、高风险（例如用于安全功能或关键基础设施的AI）、特定透明度义务（例如聊天机器人、深度伪造）、最小或无风险。鉴于AI在预测性维护、自主列车运行和安全关键系统中的应用日益增多，许多铁路应用属于高风险类别。这种分类对透明度、可追溯性和人类监督提出了严格要求，使得xAI不仅是合规的必要条件，也是更好地理解子系统的宝贵工具。为支持这些监管要求，若干国际标准和技术报告提供了基础指导：  
- ISO/IEC TR 5469:2024 [17 (https://arxiv.org/html/2609.18278#bib.bib7)] 在更详细的ISO/IEC TS 22440制定期间，发挥着关键的过渡作用，为AI在安全相关系统中的使用提供了实用指南。它涉及AI系统的功能安全，特别是在电气/电子/可编程电子（E/E/PE）安全相关系统中，并引入了三阶段实现原则（数据获取、知识归纳和输出生成）以及针对AI的缓解策略。  
- IEC 61508 [8 (https://arxiv.org/html/2609.18278#bib.bib3)]（2010）作为电气/电子/可编程电子（E/E/PE）系统功能安全的基石标准，为ISO/IEC TR 5469提供了概念基础。许多安全原则，如风险降低、ALARP（合理可行尽可能低）和正风险平衡，都经过调整和扩展以应对AI系统的独特特性。  
- ISO/IEC 22989 [16 (https://arxiv.org/html/2609.18278#bib.bib2)]（2023）强调可解释性，确保AI决策可由人类理解。  
- ISO/IEC 24029 [2 (https://arxiv.org/html/2609.18278#bib.bib13)] 关注鲁棒性，将其定义为AI系统在变化条件下保持性能的能力。  
- DIN DKE SPEC 99004 [10 (https://arxiv.org/html/2609.18278#bib.bib36)] 引入了操作设计域（ODD）概念，规定了AI系统的操作边界。  
ISO/IEC TR 5469也指出了传统软件保证方法应用于AI时的局限性，例如代码覆盖率指标的不适用性，以及验证非确定性、数据驱动模型的挑战。它倡导采用架构保障、鲁棒学习技术和运行时监控来缓解AI特定风险。总之，像欧盟AI法案这样的法律框架提供了合规义务，而技术标准则提供了方法论工具。这些尚不足以明确铁路安全关键应用中的AI合规指南，因此所有利益相关者都面临着日益增长的压力来澄清相关要求。  

### 1.2 安全完整性等级  
SIL用于评估和规定铁路运营中关键系统功能的安全要求，并引入了概率安全方法。SIL评级系统出现在适用于铁路解决方案的多个标准中，例如IEC 61508 [8 (https://arxiv.org/html/2609.18278#bib.bib3)]（2010）针对电气、电子和可编程电子（E/E/PE）系统，或EN 50126 [4 (https://arxiv.org/html/2609.18278#bib.bib9)]、EN 50716 [6 (https://arxiv.org/html/2609.18278#bib.bib8)]和EN 50129 [5 (https://arxiv.org/html/2609.18278#bib.bib10)]针对欧洲铁路应用中的安全软件开发。SIL等级及其相关的可容忍危险率在表1（https://arxiv.org/html/2609.18278#S1.T1）中描述。  

表1：安全完整性等级  
Peter Wigger [48 (https://arxiv.org/html/2609.18278#bib.bib11)] 提供了哥本哈根地铁子系统的若干铁路应用SIL等级示例，其中ATP（自动列车保护）的某些功能，如联锁和速度曲线控制，为SIL4，而车门管理为SIL3。SIL4解决方案意味着允许每100,000年发生一次故障，这对应于最高安全等级。  

虽然AI模型通常追求80-99%的准确率，但这仍低于SIL标准要求的严格可容忍危险率。即使是高性能模型也容易受到先前未见过的分布外数据的影响。当前标准尚未完全解决AI特有的挑战，特别是在铁路等安全关键领域，使得合规性评估变得困难，并凸显了制定专门AI安全规范的必要性。在维护分析等操作场景中，用户可以从理解AI输出中受益，如Di-Santi等人[35 (https://arxiv.org/html/2609.18278#bib.bib43)]为轨道电路[23 (https://arxiv.org/html/2609.18278#bib.bib42)] [32 (https://arxiv.org/html/2609.18278#bib.bib44)]和转辙机[35 (https://arxiv.org/html/2609.18278#bib.bib43)]预测性维护所提出的方案，使用神经网络。然而，在诸如在轨道上检测到障碍物等安全关键场景中，生命攸关，不容许任何错误。在这种情况下，对系统的信任和更高的安全完整性等级变得至关重要，这就是目前不使用AI的原因。本出版物阐述了研究的需求，以设计嵌入SIL环境中的鲁棒AI系统。  

## 2 AI系统的鲁棒性  
### 2.1 定义与背景  
鲁棒性是指AI系统在任何情况下保持其性能水平的能力（ISO 24029 [2 (https://arxiv.org/html/2609.18278#bib.bib13)]）。这一概念涉及系统在输入数据因各种操作环境而出现预期和未预期扰动时的性能表现。在铁路背景下，这意味着系统性能必须在各种潜在恶劣条件下（如光照、天气等）保持一致。由于基础设施限制、隐私问题或边缘场景的罕见性，收集多样化和具有代表性的数据通常很困难。因此，在有限数据上训练的模型可能对分布外输入高度敏感。  

在AI文献中，泛化能力和鲁棒性是不同的概念。泛化能力指模型在未见数据上表现良好的能力，而鲁棒性主要被定义为针对每个输入的属性，意味着如果模型对于给定输入的一组指定扰动不改变其输出，则该模型是鲁棒的 [43 (https://arxiv.org/html/2609.18278#bib.bib19), 13 (https://arxiv.org/html/2609.18278#bib.bib14)]。  

### 2.2 对抗鲁棒性  
在评估机器学习模型鲁棒性的领域中，对抗样本正引起社区越来越多的兴趣 [13 (https://arxiv.org/html/2609.18278#bib.bib14), 14 (https://arxiv.org/html/2609.18278#bib.bib18), 43 (https://arxiv.org/html/2609.18278#bib.bib19), 3 (https://arxiv.org/html/2609.18278#bib.bib5), 33 (https://arxiv.org/html/2609.18278#bib.bib6)]。对抗样本是通过向给定输入添加小但结构精心设计的扰动来故意构造的样本，旨在欺骗模型的输出，这些扰动可能被人感知也可能不被人感知（见图1 (https://arxiv.org/html/2609.18278#S2.F1)）。  

参见说明图1：来自[18 (https://arxiv.org/html/2609.18278#bib.bib41)]的信号分类对抗攻击示例。  
这引发了对模型在安全关键系统中潜在应用的质疑，并引入了使基于AI的系统监管审批复杂化的挑战。评估对抗鲁棒性是指评估系统的韧性，以及创建对抗样本所需的扰动量是否足够大，大到足以让人感知，或大到能合理证明模型的错误。作为确保鲁棒性的初步步骤，关键是要验证所识别的对抗样本涉及的扰动水平能使模型的误分类被理解。在尝试解决对抗鲁棒性问题时，社区中出现了两种主要策略：（1）经验防御，包括架构更改或使用对抗样本训练模型，以经验方式提高对抗攻击下的鲁棒性 [25 (https://arxiv.org/html/2609.18278#bib.bib21), 11 (https://arxiv.org/html/2609.18278#bib.bib48)]；（2）认证防御，提供模型对抗输入扰动鲁棒性的形式化保证。证书c通常针对给定输入x形式化定义为：  

∀δ,‖δ‖<c⟹f(x)=f(x+δ)  
其中f(x)指模型的输出。  

因此，认证防御是在安全关键环境中评估模型鲁棒性的相关方法。为此，正在开发多种方法，如提供概率证书的随机平滑 [7 (https://arxiv.org/html/2609.18278#bib.bib20)] 和形式化验证方法 [19 (https://arxiv.org/html/2609.18278#bib.bib45), 47 (https://arxiv.org/html/2609.18278#bib.bib46)]。另一种方法是利普希茨神经网络 [1 (https://arxiv.org/html/2609.18278#bib.bib25)]，通过控制模型的利普希茨常数（见定义1 (https://arxiv.org/html/2609.18278#Thmdefinition1)）显示出有希望的结果。  

###### 定义1（利普希茨连续性）  
一个函数f:R^n→R^m被称为利普希茨连续的，如果存在常数K≥0，使得对于所有x₁,x₂∈R^n，  

‖f(x₁)−f(x₂)‖≤K‖x₁−x₂‖。  (1)  
满足条件的最小常数K称为f的利普希茨常数，记为Lip(f)。  

要构建利普希茨神经网络，可以使用多种方法 [30 (https://arxiv.org/html/2609.18278#bib.bib47), 1 (https://arxiv.org/html/2609.18278#bib.bib25), 37 (https://arxiv.org/html/2609.18278#bib.bib22)]。实践中，可以使用DEEL-Lip [37 (https://arxiv.org/html/2609.18278#bib.bib22)] 等库来构建此类网络。研究表明，约束神经网络的利普希茨常数可以提高对抗攻击下的鲁棒性、泛化能力和可解释性 [15 (https://arxiv.org/html/2609.18278#bib.bib23), 40 (https://arxiv.org/html/2609.18278#bib.bib24), 37 (https://arxiv.org/html/2609.18278#bib.bib22), 46 (https://arxiv.org/html/2609.18278#bib.bib49)]。  

将此方法与对抗攻击相结合，可以得出模型在给定输入上真实鲁棒性的下界和上界。这些证书可用于认证预测，当边界过低时，可触发回退机制、使用计算成本更高的方法（如形式化方法）或人工干预以确保安全运行。  

## 3 可解释性  
### 3.1 定义与示例  
可解释性在ISO 22989（2022）[16 (https://arxiv.org/html/2609.18278#bib.bib2)]中被定义为"AI系统以人类可理解的方式表达影响AI系统结果的重要因素的能力"。这一定义是以人为中心的，强调了让AI系统对所有利益相关者（而不仅仅是开发它的工程师）透明的重要性。可解释AI算法已用于生产级模型，为数据科学家或业务专家提供关于模型关注点的见解，并支持调试和验证任务。全局xAI解释模型的总体行为，而局部xAI解释特定预测背后的原因。  

Lee等人[21 (https://arxiv.org/html/2609.18278#bib.bib31)]展示了一个全局可解释性的示例，该模型使用SHAP [24 (https://arxiv.org/html/2609.18278#bib.bib32)] 基于9个特征预测乘客在快车和普通列车之间的偏好选择。