基于ASRS报告的可追溯LLM生成航空系统运行安全分析危险场景

# 使用ASRS报告进行航空系统运行安全分析的可追踪LLM生成危险场景
来源：https://arxiv.org/html/2608.04697
###### 摘要

航空系统运行的危险分析必须考虑天气、ATC操作、空域限制、飞机运行和人为因素之间的交互——这不同于应用于飞机系统层面的功能危险评估。

我们提出了一种AI辅助方法，从NASA的航空安全报告系统（ASRS）中生成候选危险场景。给定一个目标不利结果，它生成一个结构化的假设（由分类因素组成）和一个叙事场景，该场景描述与结构一致的事件序列。每个场景都附带一个基于历史共现证据的合理性评分，以及与最相似的保留ASRS报告的可追踪性。我们还提出了一种混合变体，通过进化溯因生成的结构化假设来条件化叙事生成，从而提高正确性并降低变异性。我们评估了多个大语言模型、零样本与少样本提示，以及可选的微调，衡量提示和模型选择如何影响生成结构和叙事的有效性与真实性。

## I 引言

航空电子中的运行危险分析需要预判由技术、环境和人为因素交互产生的危险事件，例如天气、空中交通管制措施、空域结构、飞行条件、飞机和机组行为。我们针对的是运行危险分析——即推理系统运行期间出现的危险组合——而不是航空电子认证所规定的飞机或系统级FHA；两者处于不同层面且互为补充。许多高后果事件是罕见的，而合理组合的空间是组合性的，这使得手动场景引出手动场景引出具有挑战性且容易遗漏。此外，分析人员必须假设的事故场景不仅要可信，而且要新颖。同时，航空领域提供了大量历史报告，这些报告编码了实际运行中促成因素如何共现的模式。本研究探讨如何将生成式AI设计到“人在环路”的工作流程中，以探索合理的危险场景，同时提供支持审查的证据。

我们提出了一种名为Hazards Generator(HaGen)的AI辅助方法，用于生成基于NASA航空安全报告系统（ASRS）的候选航空危险场景。用户指定一个目标不利结果（结果类别），以及可选的运行上下文约束。例如，用户可以查询HaGen生成一个导致“飞机受损”的结果场景，适用于Part 121航空承运人，目视气象条件、晴空、最后进近阶段。该方法产生两种耦合表示：（i）一个结构化假设，即一组分类因素（例如，飞行条件、天气、空域、运营人/飞机类型、人为因素），以及（ii）一个叙事场景，指定与这些因素一致的事件序列——从而描述在这些结构化假设条件下，这些因素如何组合成特定的不安全状况。为支持可审计性，每个场景都附带一个源于历史ASRS共现证据的合理性评分，以及指向最相似的保留报告的可追踪性链接。该方法旨在用于分析人员参与的工作流程：它支持候选场景的探索和优先级排序，而不是事件可能性的预测器。基本变体使用大语言模型在预定义模式（schema）和允许值集合下同时生成结构化因素和叙事。我们研究了零样本与少样本提示，以及可选的参数高效微调，该微调训练模型将输入提示映射到有效的“结构+叙事”输出。评估使用ASRS报告的采样子集，并保留测试集。我们测量有效性，即违反所需模式、遗漏必填字段、选择超出允许域的值或不符合请求的结果类别的生成比例。我们通过将每个生成场景与测试集中最接近的报告进行比较来评估真实性，使用结构化因素上的Jaccard相似度和叙事上的BARTScore[40](#bib.bib45)。结果表明，提示策略和模型选择显著影响有效性和真实性。在我们的析因比较中，从零样本切换到少样本提示可将平均有效性相对提高约52%，而朴素微调则会降低有效性。最佳配置生成的结构化因素集的真实性与基于进化搜索和因果结构发现的专用结构化基线在统计上无法区分，同时还生成了与ASRS报告运行语言一致的叙事，并提供了对源事件的可追踪性。为了提高可控性，我们进一步实现了HaGen+，它将叙事生成条件化在一种基于进化溯因的最先进方法产生的结构化假设上：通过构造，这消除了无效的结构化输出，并在经验上将叙事真实性分数的标准差从0.12降低到0.02（相对减少83%），与HaGen相比。总体而言，我们的结果表明，将结构化约束、叙事生成和可追踪性相结合，可以使生成式AI成为航空电子危险场景引出的实用工具，前提是输出仅作为决策支持并接受专家审查。代码和工件可公开获取，以实现可复现性111https://doi.org/10.5281/zenodo.15428106。

本文其余部分组织如下。我们首先介绍预备背景（第II节），然后是相关工作（第III节）。HaGen和HaGen+在第IV节中介绍。研究问题和实验在第V节中描述。结果在第VI节中呈现。关于监管定位的讨论在第VII节中给出。在讨论了对研究有效性的威胁（第VIII节）之后，第IX节对论文进行了总结。

## II 背景

HaGen旨在利用多年来积累的已发生事故经验，就像安全工程师所做的那样。我们利用NASA管理的ASRS平台[21](#bib.bib12)。该平台致力于收集和分析来自飞行员、空中交通管制员、机组人员和其他航空业从业者的自愿和保密报告。

事故以原因-结果风格存储：与飞机部件、天气条件、相关人员、机场以及许多其他原因和条件相关的事件，每条记录都是一组主要是分类的变量，以及由此产生的事故（也是分类的）和以自然语言描述事故的叙事。主要实体有：

- 环境：事故发生时飞行条件的信息、能见度条件、照明或温度等工作环境因素。
- 飞机相关要素，例如飞行计划、航线、飞行阶段、维修状态、任务。
- 部件：飞机所有部件及其状态的信息（例如设计问题、失效、故障）。
- 人员：相关人员的信息，如飞行机组、空中交通管制或维修人员，及其经验和资质；可能导致错误的人为因素信息，如分心、困惑、压力等。
- 事件：描述异常情况，如空域违规、高度偏差、程序错误、空中或地面冲突、火灾，以及描述最终结果的事件，如事故类型及其后果。

例如，考虑以下事件：

天气：结冰
飞行条件：IMC（仪表气象条件）
光照：夜间
任务：货运/货物
飞行阶段：爬升
飞机部件：FCC失效
飞机部件：导航设备和处理失效
人为因素：沟通中断
结果：紧急着陆

{internallinenumbers*}
叙事：在下风边进近7000英尺时，EICAS上出现前缘缝翼不一致信息，前缘灯亮起。我宣布紧急情况并请求消防车会合。我们执行了快速参考手册（QRH）中的前缘缝翼不一致检查单、正常检查单，简要通报了乘务员，并对乘客进行了广播，然后着陆。维修日志中此前已有两次相同情况的记录。

这描述了一起飞机遇到严重故障的事件（飞行控制计算机失效，导致飞行指引控制单元和显示单元均丢失）。事件发生在存在普遍结冰条件的仪表气象条件下，严重降低了能见度和导航能力。

飞行员观察到无法减小功率，尽管尝试，飞机仍在加速。与离场管制的优先处理通信因困惑而受阻，使情况恶化。爬升过程中，飞行员重新获得了跑道的目视参考，请求360度机动，并安全降落在离场跑道上。

这是一个多个共同原因如何促成一次事件/事故的例子。这里的共同促成因素是：结冰、IMC、夜间照明、FCC失效及其导致的导航/处理能力丧失，以及沟通中断——共同导致了紧急着陆。

HaGen被要求以这种风格推断事故，作为共同原因的可能组合，并附上精确描述事故的文本说明。因此，事故具有一个结构化部分（描述其原因的分类变量）和一个非结构化部分（详细的叙事和简短的回溯）。

## III 相关工作

航空业最近经历了重大的技术进步，这些进步改变了航空安全评估（ASA）。我们首先回顾传统的ASA技术，然后探讨试图使部分过程自动化的最新进展。因为我们的目标是运行危险分析，我们调查了跨航空运营使用的通用风险分析技术。在飞机系统层面，认证实践（ARP4761A）主要围绕功能危险评估（FHA），它识别系统功能、相关失效条件和严重性分类；我们在此将其描述为我们所处理的运行分析的系统级对应物。

### III-A 传统风险分析技术

多年来，人们开发了各种结构化方法，用于在不同领域识别、评估和减轻风险，所有这些方法都是为了支持分析人员，承认人为因素在系统安全中的关键作用。传统的风险分析技术可以分为面向系统的方法和人为差错分析。每种方法都针对风险的特定方面，提供了预测故障、分析其潜在影响并实施预防或纠正措施的工具。

面向系统的方法

- HAZOP（危险与可操作性研究）是一种基于头脑风暴的结构化方法，用于识别潜在风险和操作问题。它将系统视为一组互联的节点，分析操作参数和与预期行为的偏差。HAZOP使用引导词来激发对潜在风险的讨论[12](#bib.bib30)。
- FMECA（失效模式、影响和严重性分析）是一种自下而上的方法，识别和评估产品的失效模式及其影响。它有助于确定减轻已识别风险的措施[15](#bib.bib31)。
- SFMEA（软件失效模式与影响分析）是FMEA的软件专用版本。它分析过程流程并识别需要进行验证、确认和测试的领域[10](#bib.bib32)。
- CCA（共因分析）识别由共同来源（例如人为差错、制造缺陷、外部事件）引起的事件序列。它对于防止单一原因导致的同步失效至关重要[25](#bib.bib33)。
- FTA（故障树分析）和ETA（事件树分析）。FTA评估可能导致风险或灾难性后果的事件组合[37](#bib.bib34)。ETA检查初始风险的后果，描述导致潜在结果的路径，侧重于事件进展[15](#bib.bib31)。
- 领结分析，也称为蝴蝶模型，将危险事件的原因与其后果联系起来。它将FTA和ETA的视觉框架组合成一个全面的图形[5](#bib.bib35)。

人为差错分析

- HEART（人为差错评估与减少技术）通过考虑影响绩效的人机工程学和环境因素，量化特定任务中人为差错的可能性。它有助于设计减少差错的策略[39](#bib.bib36)。
- HTA（层次任务分析）通过分析实现目标所需的操作来描述任务。它侧重于用户-系统交互[13](#bib.bib37)。
- TRACER-Lite分析认知和心理差错，通常用于空中交通管理等领域[36](#bib.bib38)。

这些技术提供了有价值的框架，但也有明显的局限性：它们依赖于团队的经验，并且难以应对复杂情况，例如ASRS中出现的多种同时风险，这些风险可能导致严重事故。

最后，它们并不主动支持对新风险的识别，而仅仅是“引导”分析人员考虑已知或假设的场景[33](#bib.bib39),35(#bib.bib40),21(#bib.bib12),22(#bib.bib13)。我们用“新颖”来指一种之前未被枚举的促成因素组合，而不是一种先前未知的失效模式。

### III-B 潜在事故的自动生成

最近有一些工作致力于至少部分自动化安全分析人员的任务。Nouri等人设计了一个管道，让LLM在汽车领域扮演分析人员构建安全案例的角色[24](#bib.bib75),23(#bib.bib76)。虽然整个流程得到了支持，但没有为实际的危险识别阶段提供手段。Pietrantuono首先应用进化算法来生成描述事故的结构化离散变量集合