光谱学中的操作范围界定：机器学习模型的安全笼框架

# 光谱学中的运行范围界定：面向机器学习模型的安全笼架构
来源：https://arxiv.org/html/2609.13514 \\页码范围 光谱学中的运行范围界定：面向机器学习模型的安全笼架构–B (https://arxiv.org/html/2609.13514#A2) 1,2Luís F\. Simões1Kai Hou Yip1,3与 Theresa Lueftinger4 1ML Analytics††电子邮件: luis\.simoes@mlanalytics\.ai2660\-329 葡萄牙里斯本 2代尔夫特理工大学航天工程系2600 AA 荷兰代尔夫特 3伦敦大学国王学院物理系WC2R 2LS 英国伦敦 4欧洲航天研究与技术中心 \(ESTEC\) 欧洲航天局 \(ESA\)2201 AZ 荷兰诺德韦克 2026 ###### 摘要 确保黑盒机器学习模型在安全关键型航天任务中的可靠性仍然是一个重大挑战，特别是在缺乏真值进行验证的情况下。尽管机器学习模型提供了一种强大的手段，通过从复杂的系外行星光曲线中提取透射光谱来增强标准流程，但它们容易受到未建模仪器异常、恒星活动和领域偏移的影响，从而引入了未量化的风险。本研究评估了一个模块化的安全笼架构，该架构作为并行监控层运行，用于评估预测的有效性，而不修改底层估计器。通过监控不同的运行时指标，包括不确定性量化、域外检测和影响函数，该框架将模型的运行领域约束在已验证的区域内。在域内和跨域条件下进行了受控评估，使用了来自2019年和2021年Ariel数据挑战赛的数据集。结果揭示了模型故障是多方面的，并且没有任何单一指标能捕获所有故障模式，这表明了指标融合的必要性。应用安全驱动的拒绝策略表明，数据覆盖率适度减少20%可使不同领域和评估指标的误差减少45%至65%。使用形式化的覆盖-风险框架，对指标组合进行了系统分析，以识别最大化风险排序准确性和优化数据覆盖率与科学性能之间权衡的配置。安全笼提供了一种检测不可靠预测的透明机制，并代表了在科学应用（如天体物理学）中安全部署数据驱动模型的关键一步，在这些应用中真值很少可用。 ###### 关键词 安全笼架构 – 凌星光谱学 – 运行时监控 – 运行范围 – 指标融合 – 覆盖率-误差优化 ## 1引言 系外行星大气层的表征代表了理解行星形成和演化的根本性转变，欧洲航天局（ESA）的Ariel任务旨在对约1000颗系外行星进行首次大规模化学普查（Tinetti等人, 2021 (https://arxiv.org/html/2609.13514#bib.bib7)）。该任务的核心是凌星光谱学，这是一种通过观察行星经过其宿主星时穿过其大气层过滤的恒星光线，来捕获行星化学指纹的技术（Tinetti等人, 2018 (https://arxiv.org/html/2609.13514#bib.bib9)）。在此凌日期间，行星遮挡了部分恒星圆面，导致观测到的总光量可测量地下降。当恒星光子穿过大气层时，特定的化学元素和分子在特征波长处吸收光线。通过将光线分解为透射光谱，可以测量不同波长的凌日深度，其变化可用于推断数十秒差距外世界的组成、温度和气压。在此背景下，输入信号是观测到的时间序列光变曲线，而目标输出是透射光谱。提取这些感兴趣的信号仍然极具挑战性，因为微弱至10–100百万分之一（ppm）的大气特征经常被复杂的仪器系统误差（如1/f噪声或保持性）和天体物理噪声（如恒星活动）所掩盖。尽管机器学习（ML）模型已成功提取这些微妙信号，但它们在安全关键型航天任务中的部署面临重大挑战，因为缺乏形式化的可靠性保证（Hülsmann与Förstner, 2023 (https://arxiv.org/html/2609.13514#bib.bib69)；Carleo等人, 2019 (https://arxiv.org/html/2609.13514#bib.bib17)）。在很少能获得真值且无法进行现场测量的空间应用中，传统估计器缺乏自动机制来验证未建模的噪声模式是否被误认为是真实的大气特征（Doshi\-Velez与Kim, 2017 (https://arxiv.org/html/2609.13514#bib.bib27)；Jia, 2021 (https://arxiv.org/html/2609.13514#bib.bib25)）。为了解决这一局限性，设计了安全笼架构作为并行监控层（ECSS Secretariat, 2024 (https://arxiv.org/html/2609.13514#bib.bib1)；Mamalet等人, 2021 (https://arxiv.org/html/2609.13514#bib.bib2)）。与预测模型并行运行，该框架在运行时持续验证输入/输出对，而不修改底层估计器，将预测约束在经过验证的能力区域内（Simões等人, 2024 (https://arxiv.org/html/2609.13514#bib.bib8)）。本工作研究运行时安全指标（如不确定性估计、集成分歧和激活异常）是否相关，并且在缺乏真值的情况下，能否预测模型性能的损失和透射光谱重建中的退化。来自2019年和2021年版的Ariel数据挑战赛（ADC）数据集提供了一个受控框架，用于在域内和跨域条件下研究安全笼架构（Yip等人, 2025 (https://arxiv.org/html/2609.13514#bib.bib23)；Nikolaou等人, 2023 (https://arxiv.org/html/2609.13514#bib.bib22)）。通过纳入不同的噪声概况和仪器建模假设，这些数据集能够严格分析数据漂移下的模型性能。在两个运行领域评估该框架，可以确定安全指标是否能在重大重建误差发生之前检测到科学退化。本研究的贡献有三方面。首先，引入了一个模块化的安全笼架构，该架构将不确定性量化、域外检测、内部模型监控、敏感性量化和数据归因集成到一个统一框架中。其次，使用ADC19和ADC21数据集对多种安全指标进行了受控比较评估，在域内条件和涉及数据漂移的跨域场景下对性能进行基准测试。第三，通过覆盖率-误差分析量化了拒绝策略的运行效益，证明了安全驱动的过滤可以减少灾难性重建误差，同时保留科学有效的预测。 ## 2背景信息 机器学习模型在复杂的回归和推理任务中已达到最先进的性能，但其在安全关键系统中的部署仍然具有挑战性。传统的性能指标，如均方误差，提供了模型在已有真值的数据上准确性的综合度量，但在缺乏真值的情况下，对于新颖或不利条件下的行为无法提供保证。航空航天、汽车和其他高可靠性领域的认证标准强调需要明确定义的运行领域和能够检测偏离已验证行为的运行时监控机制（ECSS Secretariat, 2024 (https://arxiv.org/html/2609.13514#bib.bib1)；Mamalet等人, 2021 (https://arxiv.org/html/2609.13514#bib.bib2)；Belkacem等人, 2024 (https://arxiv.org/html/2609.13514#bib.bib3)；Tambon等人, 2022 (https://arxiv.org/html/2609.13514#bib.bib4)；Perez\-Cerrolaza等人, 2024 (https://arxiv.org/html/2609.13514#bib.bib5)；Borg等人, 2019 (https://arxiv.org/html/2609.13514#bib.bib6)）。在空间任务中，这一要求尤为严格（Tinetti等人, 2021 (https://arxiv.org/html/2609.13514#bib.bib7)）。当无法获得真值时，例如在系外行星大气观测或其他天文观测中，错误的预测无法在运行时直接证伪。因此，可靠性必须从模型和数据的可观察属性中推断。 ### 2\.1安全笼架构与运行领域 安全笼架构被提出作为将运行时监控集成到机器学习流程中的一种结构化方法（Simões等人, 2024 (https://arxiv.org/html/2609.13514#bib.bib8)；ECSS Secretariat, 2024 (https://arxiv.org/html/2609.13514#bib.bib1)；Mamalet等人, 2021 (https://arxiv.org/html/2609.13514#bib.bib2)；Heckemann等人, 2011 (https://arxiv.org/html/2609.13514#bib.bib31)）。在此架构中，如图1 (https://arxiv.org/html/2609.13514#S2.F1)所示，一个并行的监督层评估来自输入数据、内部模型状态、模型输出或模型运行上下文的安全指标。它不是改变预测模型本身，而是通过基于预定义标准接受或拒绝预测来约束其运行领域。该框架的核心是经过验证的运行领域的概念。根据对系统的先验知识和实证验证，输入可能落入已知-安全（正常运行继续）、已知-unsafe（需要干预或使用替代模型进行评估）、未知-安全（代表应进行表征并可能集成到已验证领域的区域）或未知-unsafe（必须严格检测并拒绝）的区域（Mamalet等人, 2021 (https://arxiv.org/html/2609.13514#bib.bib2)）。目标是在系统级故障发生之前，检测向不安全或未表征区域的转变。虽然安全笼的概念在认证的机器学习系统中讨论越来越多（ECSS Secretariat, 2024 (https://arxiv.org/html/2609.13514#bib.bib1)），但其在科学推理流程中的有效性实证验证仍然有限。参见图注图1：安全笼架构框图。预测模型与并行监督层一起运行，该层评估来自输入、内部模型状态、输出和系统可观测量的运行时安全指标。然后，门控机制基于预测是否落在经过验证的运行领域内来接受或拒绝每个预测。示意图改编自ECSS Secretariat (2024) (https://arxiv.org/html/2609.13514#bib.bib1)。 ### 2\.2不确定性与分布偏移 模型的可靠性受到不同类型不确定性的影响，文献中区分了偶然不确定性和认知不确定性。偶然不确定性源于数据生成过程中的内在随机变异性，而认知不确定性反映了模型知识的不完全性，通常源于有限的训练数据量（Mamalet等人, 2021 (https://arxiv.org/html/2609.13514#bib.bib2)；Tambon等人, 2022 (https://arxiv.org/html/2609.13514#bib.bib4)）。在预测模型的开发阶段，区分这些来源至关重要，因为偶然变异性可能是不可约的，但认知不确定性可能表明运行发生在训练领域之外，从而允许知情地生成新的训练数据。图2 (https://arxiv.org/html/2609.13514#S2.F2)说明了这些类型不确定性之间的对比，强调了数据覆盖率低的区域如何可能提供当前不确定性的扭曲表示。参见图注图2：机器学习模型中偶然不确定性和认知不确定性的示意图。虚线紫色线代表假设空间中的理论真值模型。虽然偶然不确定性是数据噪声的恒定属性，但第四部分中的认知不确定性（以高模型方差为特征）随着训练数据的扩展而可减少。上述讨论假设数据生成过程随时间保持不变。然而，在现实世界的应用中，这种情况很少见。系统演变，仪器发生退化（例如，当冷却剂耗尽时，斯皮策仪器进入其高温阶段（Stauffer等人, 2007 (https://arxiv.org/html/2609.13514#bib.bib62)），以及环境波动（如由于太阳周期导致的詹姆斯·韦伯空间望远镜上宇宙线通量的变化（Giardino等人, 2019 (https://arxiv.org/html/2609.13514#bib.bib63)），引入了新的现象。因此，实时数据的分布经常相对于训练数据发生偏移，这种现象称为数据漂移（Amodei等人, 2016 (https://arxiv.org/html/2609.13514#bib.bib32)；Gama等人, 2004 (https://arxiv.org/html/2609.13514#bib.bib33)）。对于Ariel任务，这种偏移可能表现为不断演变的仪器噪声概况、变化的宇宙线强度、未预见的传感器行为或训练模拟中缺失的大气特征。此外，区分特定类型的数据集偏移模式也至关重要，即协变量偏移和概念漂移。在协变量偏移中，输入特征（如信噪比（SNR）或探测器温度）的分布偏离训练集。在概念漂移中，原始通量与大气参数本身之间的基本映射和关系发生变化。 ### 2\.3运行时监控机制 实践中，安全笼架构通过持续监控安全指标来实施运行时防护，以检测上述故障模式。当这些指标超过预定义阈值时，系统会触发回退或安全状态。本质上，安全笼充当保护性隔离层，在机器学习模型的操作上强制实施结构不变性（ECSS Secretariat, 2024 (https://arxiv.org/html/2609.13514#bib.bib1)）。为可接受的行为定义严格的边界，确保任何向不安全状态的转变都被拦截，即使在存在不确定性或模型故障的情况下也能保持可预测系统的安全性。该机制仅接受或拒绝预测，而不改进预测本身。由于没有任何单一指标能捕捉所有故障模式，因此需要采用多层方法来监控从高保真模拟到真实世界观测的转变（Shafaei等人, 2018 (https://arxiv.org/html/2609.13514#bib.bib30)）。研究人员提出了多种检测不安全模型行为的技术，可以根据它们解决的故障模式在概念上进行分组。 #### 2\.3\.1域外方法 域外（OOD）检测旨在识别位于训练分布支撑集之外的输入。密度估计（Meinke与Hein, 2019 (https://arxiv.org/html/2609.13514#bib.bib36)；Tambon等人, 2022 (https://arxiv.org/html/2609.13514#bib.bib4)）、基于距离的度量（Lee等人, 2018 (https://arxiv.org/html/2609.13514#bib.bib34)）、空间划分方法（Gu与Easwaran, 2019 (https://arxiv.org/html/2609.13514#bib.bib35)；Tambon等人, 2022 (https://arxiv.org/html/2609.13514#bib.bib4)）或异常检测