基于概念的扩散模型反事实视觉解释

# 基于概念的可视化反事实解释与扩散模型
来源：https://arxiv.org/html/2607.22544
11institutetext:瑞士意大利语大学，卢加诺，瑞士
11email:name\.surname@usi\.ch###### 摘要

可视化反事实解释旨在回答“对这张图像做最小修改，能否翻转模型预测？”这一问题，在视觉模型部署于安全关键领域（如医学）时日益重要。现有的基于扩散的方法可以生成逼真的编辑，但它们依赖必须能在噪声图像上可靠工作的外部分类器，这使得这些方法脆弱且难以部署用于鲁棒解释。我们引入了 C-VCE，一种新的扩散框架，通过概念瓶颈层将分类器直接构建到生成模型中，使得反事实由人类可解释的特征（概念）引导，而不是依赖一个独立的、对噪声鲁棒且逐像素编辑的分类器。我们的模型允许用户在采样过程中开启/关闭语义概念，然后最小程度地调整相关的图像区域，同时保留图像其余部分，并尊重特征相关性。为了保持编辑微小且可控，我们添加了一个简单的概率正则化器，用于平衡“改变预测”和“保持接近原始”，再加上一个基于梯度的掩码，将修改限制在最相关的区域。在 CelebA 等基准测试中，C-VCE 在产生与输入视觉上更接近、失真更少的反事实图像方面，与依赖独立噪声图像分类器的基线方法相当或更好，同时保持了翻转率。这些特性使 C-VCE 成为视觉系统中的一个实用工具，用户无需信任额外且需噪声鲁棒的分类器，即可获得具体的“假设”图像。更广泛而言，我们的结果表明，暴露并控制内部概念层是使强大的生成模型更易于理解且更安全使用的一种有前景的方法。代码：https://github.com/yassine2331/ex_diffuser

## 1 引言

随着人工智能（AI）系统日益融入医疗诊断[45 (https://arxiv.org/html/2607.22544#bib.bib2),51 (https://arxiv.org/html/2607.22544#bib.bib99),28 (https://arxiv.org/html/2607.22544#bib.bib100)]、自主系统[29 (https://arxiv.org/html/2607.22544#bib.bib3),2 (https://arxiv.org/html/2607.22544#bib.bib101)]等高风险领域，对透明度的需求变得至关重要。许多强大的深度学习模型作为“黑盒”运行，能提供高度准确的预测，却不揭示其决策背后的推理过程[6 (https://arxiv.org/html/2607.22544#bib.bib4),40 (https://arxiv.org/html/2607.22544#bib.bib102)]。这种不透明性削弱了信任并阻碍了问责，尤其是在未解释的错误会带来严重后果的关键场景中。因此，针对可解释 AI（XAI）[10 (https://arxiv.org/html/2607.22544#bib.bib103)]以及开发事后解释方法（即在模型训练后解释其逻辑的工具）的研究得到了加强。这一转变还得到了欧盟 GDPR 中“解释权”[16 (https://arxiv.org/html/2607.22544#bib.bib5)]等法律框架的进一步强化，凸显了自动化决策中清晰度的监管必要性。

从通用可解释性转向具体方法论，本研究探讨了视觉反事实解释（VCEs）[17 (https://arxiv.org/html/2607.22544#bib.bib104)]。VCE 回答一个简单而深刻的问题：“对输入图像进行最小改变，能否使模型做出不同决策？”[37 (https://arxiv.org/html/2607.22544#bib.bib28)]。与基于归因的方法（如显著性图、Grad-Cam）[1 (https://arxiv.org/html/2607.22544#bib.bib105),47 (https://arxiv.org/html/2607.22544#bib.bib96)]不同，后者突出显示哪些像素有影响，VCE 则提供了对比视角。例如，在基于 MRI 的肿瘤分类中，VCE 帮助医生判断诊断是由特定区域的形状、大小还是纹理驱动的[45 (https://arxiv.org/html/2607.22544#bib.bib2),36 (https://arxiv.org/html/2607.22544#bib.bib106)]。形式上，VCE 通常由三个核心属性定义：必须有效（模型预测确实改变）、合理（修改后的图像保持真实）、以及保持接近性（修改最小）[18 (https://arxiv.org/html/2607.22544#bib.bib31)]。

生成 VCE 与对抗性样本（AEs）[15 (https://arxiv.org/html/2607.22544#bib.bib38)]之间只有一线之隔。虽然两者都涉及通过微小扰动改变模型预测，但它们服务于根本不同的目标[12 (https://arxiv.org/html/2607.22544#bib.bib107)]。AE 的目标是使用通常不可见且缺乏语义含义的小变化来“欺骗”模型。为了确保 VCE 提供人类可理解的见解而非仅仅是对抗性噪声，可以训练鲁棒模型[4 (https://arxiv.org/html/2607.22544#bib.bib35)]；然而，这会显著增加训练复杂度[39 (https://arxiv.org/html/2607.22544#bib.bib37)]。

因此，研究已转向利用生成模型[36 (https://arxiv.org/html/2607.22544#bib.bib106),23 (https://arxiv.org/html/2607.22544#bib.bib75),22 (https://arxiv.org/html/2607.22544#bib.bib55),42 (https://arxiv.org/html/2607.22544#bib.bib56),46 (https://arxiv.org/html/2607.22544#bib.bib54),13 (https://arxiv.org/html/2607.22544#bib.bib59),25 (https://arxiv.org/html/2607.22544#bib.bib60),30 (https://arxiv.org/html/2607.22544#bib.bib62)]，它们在弥合这一差距方面表现出色，确保编辑在视觉上合理且符合数据分布[26 (https://arxiv.org/html/2607.22544#bib.bib53)]。在本工作中，我们重点关注去噪扩散概率模型（DDPMs）[19 (https://arxiv.org/html/2607.22544#bib.bib19)]，它们已被证明在图像合成、质量和编辑任务中达到了最先进水平[7 (https://arxiv.org/html/2607.22544#bib.bib84)]。通过学习逆向逐渐加噪的过程，DDPMs 允许我们生成既语义有意义又结构合理的高保真反事实图像[3 (https://arxiv.org/html/2607.22544#bib.bib74),23 (https://arxiv.org/html/2607.22544#bib.bib75)]。

由于生成 CE 需要翻转模型输出，我们必须将 DDPM 过程导向目标输出。这通常通过 (i) 分类器引导[7 (https://arxiv.org/html/2607.22544#bib.bib84)]或 (ii) 无分类器引导[20 (https://arxiv.org/html/2607.22544#bib.bib85)]实现。相关工作通常采用前者，它使用外部分类器引导逆向扩散过程。然而，这种方法有一个局限性：它要求外部分类器对噪声具有鲁棒性，因为分类器必须在中间噪声样本上工作[44 (https://arxiv.org/html/2607.22544#bib.bib34)]。相比之下，无分类器引导在训练期间直接将条件整合到扩散模型中，完全避免了对外部噪声鲁棒分类器的需求。

在条件化方法[38 (https://arxiv.org/html/2607.22544#bib.bib108)]中，我们探索了概念瓶颈模型（CBMs），它在输入和预测之间引入了一个显式的、与人类对齐的概念层[27 (https://arxiv.org/html/2607.22544#bib.bib72)]。这种两阶段架构——在最终分类之前预测语义概念——支持直接的语义干预[21 (https://arxiv.org/html/2607.22544#bib.bib73)]，调整“瓶颈”使我们能够将模型引向不同结果。

虽然最近像 CF-CBMs 这样的框架已开始在此瓶颈内生成反事实[8 (https://arxiv.org/html/2607.22544#bib.bib110),9 (https://arxiv.org/html/2607.22544#bib.bib116)]，但这些方法尚未与 DDPMs 集成。另一方面，尽管混合概念瓶颈生成模型已成功将 CBMs 与 DDPMs 结合以改善生成控制[21 (https://arxiv.org/html/2607.22544#bib.bib73)]，但它们的主要目标一直是高保真图像合成，而非生成反事实解释。

VCE 生成的最后障碍是定位，即确保模型只修改相关的语义区域，同时保持图像其余部分不变。大多数现有的图像编辑方法对此任务计算效率低下[23 (https://arxiv.org/html/2607.22544#bib.bib75),24 (https://arxiv.org/html/2607.22544#bib.bib109)]。例如，一些方法需要大量的逆向扩散步骤来抵抗噪声[23 (https://arxiv.org/html/2607.22544#bib.bib75)]，而其他方法（如 ACE）则利用两阶段过程：先进行一次扩散传递提取掩码，再进行第二次传递应用局部编辑[24 (https://arxiv.org/html/2607.22544#bib.bib109)]。这些多遍要求，以及依赖于将图像估计与原始输入比较的方法，使它们不适合快速、自动化的反事实解释生成。

我们引入了 C-VCE（基于概念的可视化反事实解释），这是一个框架，通过利用 CBMs 引导扩散过程生成有效、语义基础且视觉合理的可视化反事实，弥合了这些差距。我们通过以下方式解决这些挑战：

- **首个 CBM 集成扩散流水线**：据我们所知，C-VCE 是第一个将 CBM 直接嵌入生成 U-Net 的方法。通过弥合基于瓶颈的推理与图像生成之间的差距，我们允许用户使用人类可理解的概念来“引导”反事实。
- **基于专家乘积的分数近邻性**：我们提出了一种新颖的近邻正则化器，将“有效性”和“近邻性”视为两个竞争的专家。这提供了一种数学上合理的方式来平衡两者，而无需在每个步骤进行昂贵的干净图像近似。
- **集成梯度基掩码**：与需要单独初始传递提取掩码的方法不同，我们的框架在扩散过程中动态计算基于梯度的掩码。这使得能在单次逆向扩散传递中实现精确定位的编辑，防止重建崩溃，同时显著减少计算开销。

## 2 背景与相关工作

本节提供论文中使用的技术背景。我们首先定义 CE，并讨论在高维图像空间中强制执行视觉合理性的挑战。然后，我们回顾扩散模型和条件机制，最后总结 CBMs 作为可控反事实生成的可解释接口。

### 2.1 CE 与视觉合理性挑战

###### 定义 1
一个预测的反事实解释描述了特征值的最小变化，该变化将预测更改为预定义输出[37 (https://arxiv.org/html/2607.22544#bib.bib28)]

形式上，设 \(f_\theta\) 是一个模型，对于给定的输入 \(\hat{x}\)，输出决策 \(\hat{y}=f_\theta(\hat{x})\)。一个反事实解释是一个备选实例 \(x^\prime\)，使得 \(f_\theta(x^\prime)=y^\prime\)，其中 \(y^\prime\) 是期望的目标结果。在实践中，通常寻求在选定的距离度量下，\(x^\prime\) 尽可能接近 \(\hat{x}\)。这通常被框架化为一个约束优化问题，其中我们寻求在模型输出改变的前提下，最小化距离度量 \(D(x,\hat{x})\)[52 (https://arxiv.org/html/2607.22544#bib.bib30)]。在实践中，这通常被松弛为一个惩罚函数：

为了满足反事实目标，我们为相对于原始输入 \(\hat{x}\) 的候选解释 \(x^\prime\) 定义一个损失函数 \(\mathcal{L}_{CE}\)：

\[
\mathcal{L}_{CE}(x^\prime)=\lambda\cdot\mathcal{L}_{pred}(f_\theta(x^\prime),y^\prime)+D(x^\prime,\hat{x}) \quad (1)
\]

其中 \(\mathcal{L}_{pred}\) 衡量预测与期望值的距离，\(y^\prime\) 是期望的目标类别，\(f_\theta\) 是参数为 \(\theta\) 的分类器，\(D(\cdot)\) 是距离度量。这个公式允许通过平衡两个核心属性，使用基于优化的策略生成新的反事实：**有效性**，确保模型预测变为期望目标（\(f_\theta(x^\prime)=y^\prime\)），以及**近邻性**，最小化距离 \(D(x^\prime,\hat{x})\) 以确保反事实尽可能接近原始输入。然而，要使解释在实践中有用，还必须满足**合理性**标准。该属性要求引入的修改从**人类角度**看是合理的，在技术上解释为确保实例 \(x^\prime\) 位于数据流形内，并且不表现为异常值。

在高维设置中，例如图像数据 \(x\in\mathbb{R}^{C\times H\times W}\) 表示跨通道、高度和宽度的像素值，识别改变分类器决策的最小可能扰动面临一个关键挑战。现代深度神经网络极易受对抗性样本影响——即那些改变预测类别但在人类看来视觉上不变的微小扰动[50 (https://arxiv.org/html/2607.22544#bib.bib33),15 (https://arxiv.org/html/2607.22544#bib.bib38)]。

数学上，生成 VCE 可能会无意中退化为对抗性攻击[12 (https://arxiv.org/html/2607.22544#bib.bib107)]，例如快速梯度符号法（FGSM）[15 (https://arxiv.org/html/2607.22544#bib.bib38)]：

\[
x_{adv}=\hat{x}+\eta\cdot\operatorname{sign}(\nabla_{x}\mathcal{L}_{pred}(f_\theta(\hat{x}),y^\prime)) \quad (2)
\]

其中 \(\eta\) 表示扰动步长。与真正的反事实不同，这些对抗性实例缺乏语义合理性，因为它们利用了模型的不鲁棒特征，而不是改变人类可理解的概念。

矛盾在于，对抗性图像 \(x_{adv}\) 通常同时满足有效性和近邻性的数学要求。然而，由于这些扰动利用了模型的漏洞而非其语义理解，它们从根本上违反了合理性属性[26 (https://arxiv.org/html/2607.22544#bib.bib53),12 (https://arxiv.org/html/2607.22544#bib.bib107)]。产生的反事实通常不可信，因为它未能突出为了达到不同决策而实际需要改变的特征。

为了解决这个问题，各种方法尝试通过惩罚偏离数据流形 \(\mathcal{M}_{X}\) [52 (https://arxiv.org/html/2607.22544#bib.bib30)]或利用对抗鲁棒模型[5 (https://arxiv.org/html/2607.22544#bib.bib111)]来强制执行合理性。虽然鲁棒模型产生语义更连贯的 VCE，但它们通常比标准对应模型准确度低得多[39 (https://arxiv.org/html/2607.22544#bib.bib37)]。更广泛地说，生成模型为捕捉数据分布并产生逼真、语义有意义的反事实提供了原则性框架[26 (https://arxiv.org/html/2607.22544#bib.bib53)]。

### 2.2 G