用于解释和评估分类器鲁棒性的优化实例修改方法

# 面向分类器鲁棒性解释与评估的优化实例修改方法
来源：https://arxiv.org/html/2607.06637
Evgenii Kuriabov, David Miller, and Jia LiE. Kuriabov 和 J. Li 隶属于宾夕法尼亚州立大学统计学系，美国宾夕法尼亚州大学城，邮编 16802。电子邮箱：[email protected], [email protected]. Miller 隶属于宾夕法尼亚州立大学电气工程系，美国宾夕法尼亚州大学城，邮编 16802。电子邮箱：[email protected]. Kuriabov 和 J. Li 的研究获美国国家科学基金会（NSF）第 2205004 号项目资助。通讯作者：Evgenii Kuriabov。

###### 摘要

本文提出了一种统一的方法，用于诊断误分类并评估黑盒分类器的鲁棒性。该方法的核心是一个优化框架，它修改一个实例，使得分类器预测指定的目标标签，同时确保修改易于解释。目标函数包含两个部分：一个可解释性感知的 L0L_0（XA-L0L_0）惩罚项，用于促进稀疏且可解释的修改；以及一个分类器损失目标，用于将扰动后的实例推向期望的输出。这一集成优化公式既可用来识别误分类的根本原因，也可通过确定实例在容差区域内如何变化后被重新分配到其他类别来评估鲁棒性。为了量化鲁棒性，我们引入了容差区域混淆矩阵（TOR-Confusion Matrix），它通过建模由容差受限扰动引起的类别间转移概率来衡量分类器的敏感性。我们在图像和表格数据集上验证了所提方法，证明了其同时提供可解释性和鲁棒性评估的能力。

## I引言

可解释机器学习已成为理解并验证模型在医疗、金融和自主系统等领域决策的关键。尽管现代深度模型具有令人印象深刻的预测性能，但它们通常作为不透明的黑盒运行，几乎无法洞察为何做出特定预测，或如何修正误分类。这种不透明性限制了在高风险环境中的信任、问责和部署，此类环境中预测背后的推理必须透明。因此，一个有原则的可解释性框架不仅应解释模型的决策，还应指出如何通过对输入进行最小且有意义的更改来改变决策。例如，在信贷或保险审批中，一个反事实解释可以表明，只需适度提高信用评分或报告收入，就能将拒绝变为批准，从而为申请者提供可操作的反馈。再如，在科学或临床环境中，当特征以有限精度测量时，一个解释可能会揭示，在关键特征典型测量分辨率更小的扰动下，预测标签就会发生变化，这表明在实际中应更精确地测量该特征，或者决策对测量噪声不稳定。

反事实解释为实现这一目标提供了自然且直观的机制。给定一个误分类实例，目标是识别能够将模型输出改变为期望标签的最小修改。同样，给定一个正确分类的实例，目标是识别该实例离被误分类有多近。现有方法通常使用 L0L_0 风格的惩罚项或其松弛形式 [20, 4, 3] 来鼓励稀疏性，力求最小化被修改的特征数量。然而，稀疏性本身并不能保证可解释性。L0L_0 惩罚项限制了修改特征的数量，但没有限制这些变化的性质或连贯性。在图像领域，强制稀疏性可能导致孤立的像素改变，从而产生不合理的视觉伪影。在表格数据中，忽略特征内在关系的稀疏性会产生数值上微小但概念上无意义的编辑。因此，虽然 L0L_0 促进了最小化，但它不足以确保生成的反事实实际上可解释，而这是我们公式中直接解决的差距。基于采样的逆分类方法（如 Growing Spheres [10]）在可扩展性方面进一步挣扎，并且常常忽略变量之间的依赖关系，导致不连贯或不稳定的反事实。

反事实生成也与对抗性示例和测试时逃避攻击的构建方法密切相关，后者同样搜索引起模型预测改变的输入修改 [6, 11, 2]。关键区别在于意图和结构：对抗方法通常旨在产生难以察觉或类似噪声的扰动，这些扰动能改变决策同时难以被检测，而反事实解释则寻求连贯、语义有意义的修改，揭示决策如何以及为何可能改变。这种对比促使我们强调结构化、可解释的扰动——这些改变与领域结构对齐，而非仅仅为最小范数或视觉不可感知性而优化。

为了解决这些局限性，我们提出了一个统一的优化框架，通过联合强制正确性、简洁性和语义连贯性来生成 *可解释的修正*。该方法集成了三个互补组成部分：一个强制期望标签的分类项，一个保持真实性的邻近正则化项，以及一个新颖的 *可解释性感知 L0L_0（XA-L0L_0）* 惩罚项，通过耦合相关特征来促进结构化稀疏性。对于表格数据，这种耦合捕获了有意义的特征依赖关系，例如特征图中的相关性或学习到的社区；对于图像数据，一个边缘感知的空间正则化器倾向于在对象边界附近进行聚类修改，那里的变化在视觉上最显著，避免了标准稀疏惩罚项产生的分散或视觉上不合理的像素变化。这些组成部分共同产生了紧凑且语义一致的修正，尊重了统计关系和感知结构，为完善模型预测提供了可解释的路径。

除了生成单独的修正，我们还引入了 *容差区域混淆矩阵（TOR-CM）*，用于量化可解释扰动下的模型鲁棒性。与传统的对抗性或经认证的鲁棒性度量 [6, 11, 2]（评估对无穷小或范数有界噪声的敏感性）不同，TOR-CM 描述了在由 XA-L0L_0 几何定义的有界、语义有意义的容差区域内，预测如何变化。这一视角在同一个基于优化的框架内将可解释性和鲁棒性联系起来，实现了对模型行为及其在人类可理解修改下稳定性的统一分析。

因此，所提出的框架通过一个结构化的优化目标，统一了反事实可解释性和鲁棒性评估。在图像和表格数据集上的大量实验表明，XA-L0L_0 生成了连贯、与领域对齐的修正，同时提供了对分类器决策的忠实且可解释的解释。此外，TOR-CM 分析揭示，模型不仅在准确性上不同，而且在可解释扰动下的内在稳定性也不同，从而更完整地刻画了模型在实际场景中的可靠性。

## II 预备知识与相关工作

反事实解释已成为最直观的事后可解释性形式之一，旨在通过识别会改变模型预测类别的最小输入变化来解释或修正模型的决策。给定实例 x(o)∈Rd\mathbf{x}^{(o)}\in\mathbb{R}^d 和训练好的分类器 f(x)f(\mathbf{x})，目标是找到一个扰动点 x∗\mathbf{x}^{*}，使得 f(x∗)≠f(x(o))f(\mathbf{x}^{*})\neq f(\mathbf{x}^{(o)})，同时尽可能保持 x∗\mathbf{x}^{*} 的相似性和合理性。这一公式通过揭示“需要改变什么”才能达到期望结果，以及相应地“哪些特征导致了误分类”，提供了一种与人类对齐的解释。同样，它也可以识别一个正确分类的实例离被误分类有多近，以及哪些特征变化会导致这种误分类。

最近的综述 [17, 8, 16] 强调，反事实框架不仅在技术公式上不同，其潜在目标也有所不同。有些优先考虑 *分类保真度*，确保修改后的实例可靠地翻转预测 [20, 4]；另一些则强调 *邻近性和可行性*，将变化限制在接近原始输入的范围内。基于稀疏性的方法专注于 *简洁性*，力求尽可能少地改变特征 [3, 12]，而生成式和基于流形的方法 [1, 7, 15] 则追求 *合理性*，产生保持在自然数据分布内的反事实。更近期的因果公式 [8] 扩展了这些目标，确保反事实对应于有意义的、可实现的干预。这些多样化的目标——正确性、邻近性、稀疏性、合理性和因果性——定义了可解释性中互补但往往相互竞争的方面。

尽管概念上丰富，大多数反事实公式都可以在一个通用的优化框架内表达：

x∗=arg minx [Lcls(f(x),y∗)+λ d(x,x(o))+Ω(x,x(o))],\mathbf{x}^{*}=\arg\min_{\mathbf{x}}\Big[\mathcal{L}_{\text{cls}}(f(\mathbf{x}),y^{*})+\lambda\,d(\mathbf{x},\mathbf{x}^{(o)})+\Omega(\mathbf{x},\mathbf{x}^{(o)})\Big],

其中 Lcls\mathcal{L}_{\text{cls}} 强制分类一致性，d(⋅,⋅)d(\cdot,\cdot) 惩罚与原始输入的偏差，Ω(x,x(o))\Omega(\mathbf{x},\mathbf{x}^{(o)}) 规范修改的结构。在经典工作（如 Wachter 等人 [20] 和 Dhurandhar 等人 [4]）中，正则化项 Ω\Omega 被实例化为简单的范数，通常是 L1L_1 或 L2L_2。Dandl 等人 [3] 后来将这一范式扩展到多目标公式，联合优化保真度、邻近性和稀疏性，产生具有不同权衡的帕累托反事实集合。尽管有效，此类方法通常假设特征独立性，因此倾向于产生修改孤立坐标的反事实，忽略了特征之间的相关性或空间关系。这种独立性假设常常导致碎片化或不合理的解释——虽然幅度很小，但未必对人类可解释。

统计学习中的并行工作表明，当用 *结构化稀疏性* 代替稀疏性时，可解释性通常会提高。正则化项，如组套索 [22]、融合套索 [14] 和图引导惩罚 [9]，鼓励相关变量之间的协调变化，产生与有意义的特征组或空间邻域对齐的解。这些方法反映了一个重要原则：现实世界的数据表现出依赖性，特别是表格领域中的特征相互关联，而图像中的像素形成空间连贯区域。

然而，尽管结构化稀疏性方法在预测建模中已成熟，它们在反事实解释框架中并未得到充分利用。大多数反事实方法仍然将特征视为独立维度，优化 L0L_0 风格的稀疏性而不考虑结果变化的有意义性或连贯性。此外，现有的结构化稀疏性惩罚并非为反事实可解释性而设计。它们为预测准确性促进分组激活模式，但并未纳入生成人类可解释的实例级修改所需的语义或领域特定考量。因此，它们不能直接确保反事实变化是真实且可解释的。

除了可解释性，鲁棒性是可靠预测系统的核心要求。经典的鲁棒性研究，最著名的是对抗防御 [6, 11] 和经认证平滑 [2]，关注模型对小的、无结构扰动（如 lp\ell_p 有界噪声或高斯随机平滑）的敏感性。这些方法旨在捕获最坏情况或分布稳定性，但它们考虑的扰动通常是不可感知的、缺乏语义意义，并且不能反映人类自然解释为有意义输入修改的那种结构化变化。此外，它们仅在保持预测标签方面评估鲁棒性，没有描述预测如何在类别之间转移，或者在非对抗但可解释的变化下，替代输出是否变得可达。因此，关于人类可理解的结构化扰动的鲁棒性以及相应的类别间转移行为，在现有鲁棒性框架中仍未得到充分解决。

总之，先前的工作为反事实推理奠定了坚实基础，但通常孤立地优化稀疏性和正确性，忽略了特征变化的结构和语义连贯性。同样，鲁棒性分析侧重于最坏情况敏感性而非可解释变异性。我们的方法旨在通过一个尊重数据内部结构和模型外部行为的优化框架，弥合这些视角。

## III 方法

我们提出了一个统一的优化框架，用于识别 *最小的、可解释的、结构化的修改*，以纠正误分类，同时保持接近原始实例。该框架通过三个互补的损失项联合强制正确性、简洁性和真实性。

### III-A 问题公式

设 x∈Rd\mathbf{x}\in\mathbb{R}^d，x=(x1,...,xd)t\mathbf{x}=(x_1,\dots,x_d)^t 表示一个输入实例，设 f:Rd→{1,...,K}f:\mathbb{R}^d\rightarrow\{1,\dots,K\}