CAFD: 使用VLMs的概念感知DNN故障检测

# CAFD：基于概念感知的深度神经网络故障检测——利用视觉语言模型
来源：https://arxiv.org/html/2605.24008

Amin Abbasishahkoo, Mahboubeh Dadkhah, Lionel Briand
Amin Abbasishahkoo 就职于渥太华大学电子工程与计算机科学学院，加拿大渥太华，K1N 6N5（电子邮件：[email protected]）。
Mahboubeh Dadkhah 就职于渥太华大学电子工程与计算机科学学院，加拿大渥太华，K1N 6N5（电子邮件：[email protected]）。
Lionel Briand 就职于渥太华大学电子工程与计算机科学学院，加拿大渥太华，K1N 6N5，同时也任职于爱尔兰利莫瑞克大学软件研究中心 Lero（电子邮件：[email protected]）。
稿件收稿日期：2025年3月1日。

###### 摘要

近年来，针对深度神经网络（DNN）的故障检测受到了越来越多的关注。虽然已有更先进的混合方法被提出，它们结合多种信息源并超越了早期技术，但这些方法通常带来巨大的计算开销，限制了其在现实场景中的可扩展性和实用性。本文提出了一种基于学习的方法——概念感知故障检测（CAFD），该方法通过有效整合多种信息源，在保持实用高效的同时，实现了卓越的故障检测性能。具体来说，CAFD 使用一组精心挑选的信息特征进行训练，这些特征包括：基于模型输出的信号（如输出概率、logit层激活和不确定性指标）、基于距离的特征，以及一种新颖的基于概念的特征。我们引入了概念故障比（CFR）作为一种新的基于概念的特征。CFR 通过利用视觉语言模型（VLM）从图像中提取文本概念，并量化每个概念的存在与 DNN 故障之间的关联可能性，从而捕获输入的语义特征。通过将 CFR 与基于模型和基于距离的特征相结合，CAFD 能够利用互补的语义信息，实现更有效的故障检测。我们的结果表明，CFR 提供了互补的语义洞察，并可作为 DNN 故障检测的有效指标。我们对 CAFD 进行了广泛的实证评估，在包括 ImageNet 在内的三个目标 DNN 模型和数据集上，与五个最先进的基线方法进行了比较。在多种受限选择预算下，CAFD 在故障检测率（FDR）上始终优于所有基线方法，尤其是在预算高度受限的情况下。具体而言，在所有研究对象和预算规模下，CAFD 的 FDR 平均提升了 18.3%。

###### 索引词：
深度神经网络，故障检测，输入选择，视觉语言模型。

## I. 引言

深度神经网络（DNN）已被广泛应用于各个应用领域，包括计算机视觉、医疗保健和软件工程[1 (https://arxiv.org/html/2605.24008#bib.bib1),2 (https://arxiv.org/html/2605.24008#bib.bib2),3 (https://arxiv.org/html/2605.24008#bib.bib3)]。与传统软件系统一样，DNN 必须经过彻底测试以确保其可靠性、鲁棒性和正确性，尤其是在安全关键领域。然而，有效的 DNN 测试需要多样化的标注输入来识别各种不同的故障。在实践中，由于高昂的成本和大量的人力投入，尤其是在需要专业知识的领域，手动标注此类输入通常是不可行的。当处理大型数据集时，这一挑战更加突出，因为这些数据集中的许多输入往往揭示冗余的故障，导致有限的标注资源使用效率低下。为了解决这一限制，我们提出了概念感知故障检测（CAFD），这是一种基于学习的方法，能够在检测多样化故障方面实现卓越性能，同时在处理像 ImageNet 这样的大型数据集时仍保持实用高效。CAFD 是一个故障检测模型，它使用一组有效的输入特征进行训练，这些特征包括来自 DNN 输出的代表性特征、基于不确定性和基于距离的指标，以及一种基于视觉语言模型（VLM）的新概念指标。

在 DNN 测试领域，近年来已经提出了几种故障检测方法[4 (https://arxiv.org/html/2605.24008#bib.bib4)]。其中应用最广泛的方法是基于不确定性的方法，它们估计被测模型（MUT）在未标注输入上的置信度。这些方法可分为两类：一种是仅依赖 MUT 输出概率分布的概率型不确定性度量[5 (https://arxiv.org/html/2605.24008#bib.bib5),4 (https://arxiv.org/html/2605.24008#bib.bib4),6 (https://arxiv.org/html/2605.24008#bib.bib6)]；另一种是额外结合输入最近邻信息的邻域感知不确定性度量[7 (https://arxiv.org/html/2605.24008#bib.bib7),8 (https://arxiv.org/html/2605.24008#bib.bib8)]。虽然邻域感知不确定性度量在某些情况下显示出更高的故障检测率（FDR）[7 (https://arxiv.org/html/2605.24008#bib.bib7),9 (https://arxiv.org/html/2605.24008#bib.bib9)]，但它们的效率低于概率型指标，尤其是在较大的数据集上。此外，多样性常被视为故障检测中的关键指标，因为它有助于选择具有不同特征的输入，从而扩大输入空间的覆盖范围，增加检测到多种不同故障的可能性[10 (https://arxiv.org/html/2605.24008#bib.bib10)]。混合方法和基于学习的方法旨在利用多种信息源的互补优势，以增强 DNN 故障检测的有效性[11 (https://arxiv.org/html/2605.24008#bib.bib11),12 (https://arxiv.org/html/2605.24008#bib.bib12),13 (https://arxiv.org/html/2605.24008#bib.bib13),14 (https://arxiv.org/html/2605.24008#bib.bib14)]。其中几种方法同时集成了不确定性和多样性[11 (https://arxiv.org/html/2605.24008#bib.bib11),12 (https://arxiv.org/html/2605.24008#bib.bib12)]，旨在选择覆盖输入空间不同区域的输入，以减少冗余，同时最大化检测故障的可能性。然而，利用多个指标通常会产生额外的计算开销。在某些情况下，这种开销变得相当大，以至于限制了这些方法的可行性和实际适用性[11 (https://arxiv.org/html/2605.24008#bib.bib11),9 (https://arxiv.org/html/2605.24008#bib.bib9)]。因此，仔细选择和组合信息量最大且高效的输入特征对于训练一个在性能和效率之间实现有效权衡的故障检测模型至关重要。为了实现这一目标，我们进行了广泛的探索，研究了各种特征，以确定最有效且实际高效的组合。此外，我们引入了概念故障比（CFR），这是一种源自 VLM 的新颖指标。具体来说，我们采用了 CLIP（对比语言-图像预训练）[15 (https://arxiv.org/html/2605.24008#bib.bib15)]，这是一个广泛使用的 VLM，由图像编码器和文本编码器组成，将输入映射到一个共享的嵌入空间。这种共享表示使我们能够测量每个图像输入与一组候选文本概念之间的相似度，并提取高度相似的概念来表示该输入。CFR 是一个指标，对于每个概念，它量化了该概念在给定输入中的存在导致 MUT 预测该输入失败的可能性。为了为每个 DNN 构建一组候选文本概念并计算每个概念的 CFR 分数，我们使用了 MUT 的训练集。随后，对于每个未标注的输入，我们识别其最相似的 mm 个概念，并使用它们对应的 CFR 分数来估计该输入检测 DNN 故障的可能性。我们的结果表明，当与 DNN 输出的信息、不确定性指标和基于距离的特征相结合时，CFR 提供了互补的语义信息，并可作为 DNN 故障检测的有效指标。为了构建 CAFD，我们研究了多种学习模型，包括经典机器学习模型和神经网络（NN），最终选择了逻辑回归（LR），因为它提供了强大的性能，同时保持了较高的计算效率。我们在多个数据集上进行了全面的实证评估，包括像 ImageNet[16 (https://arxiv.org/html/2605.24008#bib.bib16)] 这样的大规模数据集，并将 CAFD 与五个最先进的（SOTA）基线方法进行了比较。结果表明，CAFD 在所有研究对象和选择预算下，在检测故障方面始终优于现有方法。特别是在高度受限的预算规模（1%、3% 和 5%）下，CAFD 在所评估的数据集上比表现第二好的方法平均 FDR 提升了 10% 到 19%。此外，表现第二好的方法因数据集和预算规模而异，这证实了 CAFD 是唯一可靠的方法。除了其卓越的性能之外，我们的评估结果表明，CAFD 即使在较大的数据集上也保持实际高效，对整个 ImageNet 测试集进行排序大约需要 840 秒。本文的主要贡献如下：

- • 我们提出了 CAFD，一种新颖的基于学习方法，能够在保持实际高效的同时实现卓越的故障检测性能。作为一种基于学习的方法，CAFD 使用一组有效的输入特征进行训练，包括 DNN 模型的输出、基于不确定性和基于距离的特征，以及使用 VLM 从图像输入中提取的新概念指标。
- • 我们引入了 CFR，一种新颖的指标，对于从输入图像中提取的每个文本概念，估计其存在与 MUT 失败相关联的可能性。为了提取这些文本概念，我们利用了 VLM。由此产生的 CFR 分数被用作训练 CAFD 模型的特征之一。
- • 我们对三个目标 DNN 模型和数据集进行了全面的实证评估，包括像 ImageNet 这样的大规模数据集，结果表明，在不同的选择预算下，CAFD 在 FDR 方面始终优于 SOTA 基线。此外，我们的结果表明，表现第二好的基线方法因数据集和预算规模而异，这凸显了 CAFD 是唯一能够持续提供卓越性能的方法。
- • 我们实证评估了 CAFD 的计算效率，并表明，尽管它不是所研究的方法中效率最高的，但即使在像 ImageNet 这样的大型数据集上，它仍然保持实际高效。这些发现证实了 CAFD 能够独特地结合持续、卓越的故障检测性能与计算实用性。

本文的其余部分组织如下：第二部分提供背景知识，包括我们实验中使用的故障检测基线的简要概述、使用 VLM 从图像中提取概念的总结以及 DNN 模型中的故障估计。第三部分介绍 CAFD 模型及其训练特征集，包括 CFR 分数。第四部分描述我们评估中使用的实验设计。第五部分报告并讨论了每个研究问题的结果。第六部分回顾相关工作，第七部分总结全文。

## II. 背景

本节概述了最新的 DNN 故障检测方法，这些方法在我们研究中作为基线。此外，通过介绍一种使用 VLM 检测揭示故障的输入的概念感知学习方法，我们解释了如何利用 VLM 从图像中提取概念。我们还讨论了用于估计 DNN 中故障的方法，该方法用于评估我们的方法。

### II-A DNN 中的故障检测

近年来，已经提出了许多用于 DNN 故障检测的方法。然而，为了确保我们的实验在计算上可行，我们根据先前研究报告中提到的有限效果或高计算成本，有意排除了某些现有方法。具体来说，我们排除了那些已被我们实验中包含的一些基线方法超越的方法。例如，Kim 等人提出的惊奇充分性（SA）指标[17 (https://arxiv.org/html/2605.24008#bib.bib17)]、自适应测试选择（ATS）[10 (https://arxiv.org/html/2605.24008#bib.bib10)] 和神经元覆盖（NC）指标[18 (https://arxiv.org/html/2605.24008#bib.bib18),19 (https://arxiv.org/html/2605.24008#bib.bib19)]，由于它们的效果有限而被排除[10 (https://arxiv.org/html/2605.24008#bib.bib10),4 (https://arxiv.org/html/2605.24008#bib.bib4),11 (https://arxiv.org/html/2605.24008#bib.bib11),12 (https://arxiv.org/html/2605.24008#bib.bib12)]。SA 指标衡量给定输入相对于其训练集对 MUT 的惊奇程度，而 NC 评估神经元激活覆盖。类似地，Gao 等人提出的 ATS[10 (https://arxiv.org/html/2605.24008#bib.bib10)] 一直被更新的基线方法所超越[11 (https://arxiv.org/html/2605.24008#bib.bib11),4 (https://arxiv.org/html/2605.24008#bib.bib4)]。此外，ATS 基于每个剩余输入与当前选定子集之间的不相似度迭代地选择输入，使其成为计算最密集的方法之一[4 (https://arxiv.org/html/2605.24008#bib.bib4)]。基于变异的方法也因为计算成本高、在许多情况下甚至不实用而被排除在本研究之外[20 (https://arxiv.org/html/2605.24008#bib.bib20)]。这些方法非常耗时，因为它们需要生成多个变异体并针对所有变异体执行每个未标注的测试输入[20 (https://arxiv.org/html/2605.24008#bib.bib20),21 (https://arxiv.org/html/2605.24008#bib.bib21)]。此外，我们排除了 Aghababaeyan 等人提出的 DeepGD[11 (https://arxiv.org/html/2605.24008#bib.bib11)]，这是一种混合搜索方法，利用非支配排序遗传算法（NSGA-II）[22 (https://arxiv.org/html/2605.24008#bib.bib22)]进行故障检测，结合了不确定性和几何多样性。最近的一项研究[23 (https://arxiv.org/html/2605.24008#bib.bib23)]实证强调了将 DeepGD 应用于大规模数据集（如 ImageNet）时面临的可扩展性挑战，报告称这些技术的效率大幅下降。

在 DNN 的故障检测方法中，基于不确定性的方法构成了重要的基线类别。这些方法的主要目标是识别 MUT 对其预测不太确定的输入[5 (https://arxiv.org/html/2605.24008#bib.bib5),4 (https://arxiv.org/html/2605.24008#bib.bib4),6 (https://arxiv.org/html/2605.24008#bib.bib6)]。因此，这些方法倾向于选择靠近 MUT 决策边界的输入。基于不确定性的方法不仅效率极高，而且其中几种已被证明在 DNN 模型的故障检测方面非常有效[4 (https://arxiv.org/html/2605.24008#bib.bib4),6 (https://arxiv.org/html/2605.24008#bib.bib6),5 (https://arxiv.org/html/2605.24008#bib.bib5),7 (https://arxiv.org/html/2605.24008#bib.bib7),6 (https://arxiv.org/html/2605.24008#bib.bib6)]。不确定性指标通过分析 DNN 模型对给定输入的输出概率分布[4 (https://arxiv.org/html/2605.24008#bib.bib4)]，或将其与信息结合，来测量模型的置信度。