PACE: 一种用于生成合理且可操作的反事实解释的神经符号框架

# PACE: 一种用于生成合理且可操作反事实解释的神经符号框架
来源: https://arxiv.org/html/2607.01306
Liyanapathiranage Sudeepika Wajirakumari Samarathunga², Martin Thomas Horsch², Fadi Al Machot² ¹克拉根福大学, Universitätsstraße 65/67, 9020 克拉根福, 奥地利 ²挪威生命科学大学, Elizabeth Stephansens v. 15, 1433 奥什, 挪威

###### 摘要

反事实解释通过识别对输入实例的最小修改以改变模型决策，已成为解释机器学习预测的一种实用方法。尽管许多现有方法能成功生成改变预测的替代方案，但由于缺乏显式的机制来整合领域知识和干预约束，它们常会产生不现实或不可行的建议。神经符号人工智能通过将数据驱动的预测模型与能够表示人类可理解规则及可行操作的符号推理相结合，提供了一个有前景的方向。本文提出 PACE，一个模块化的神经符号框架，用于生成具备可行性感知的反事实解释。该框架将预测与推理分离为两个互补的组件：一个负责分类的神经预测模型，和一个在反事实生成过程中强制执行领域特定约束的符号推理层。通过显式地建模可行的干预措施，该框架旨在生成与领域知识更一致、同时保持可解释性和可操作性的解释。所提出的方法模型无关，可适用于需要现实决策支持的应用领域。为展示该框架的适用性，在 Adult Income 数据集上进行了案例研究。我们将多层感知器分类器与答案集编程 (ASP) 规则相结合，这些规则编码了对教育、职业和工作时间的可行修改，同时保留了不可变属性。实验结果突出了反事实有效性与合理性之间的权衡，并表明纳入符号约束能产生更好地满足领域特定可行性要求的解释。这些发现表明了神经符号方法在可解释人工智能系统中支持生成透明、具备可行性感知的反事实解释的潜力。

## 1. 引言

机器学习模型在决策支持系统中的日益普及，加剧了对透明、可操作且可信的解释的需求[12 (https://arxiv.org/html/2607.01306#bib.bib10),13 (https://arxiv.org/html/2607.01306#bib.bib1),7 (https://arxiv.org/html/2607.01306#bib.bib2)]。在可解释人工智能 (XAI) 提出的众多方法中，反事实解释因其通过识别如何修改实例以获得不同预测来提供可操作建议而备受关注[9 (https://arxiv.org/html/2607.01306#bib.bib15)]。这类解释在医疗、金融、教育和公共管理等决策直接影响个人的领域尤其宝贵。

尽管具有吸引力，生成有用的反事实解释仍然具有挑战性。一个理想的反事实应该是*有效*、*最小*且*合理*的。然而，许多现有方法主要优化预测变化和接近度，常常产生违反领域约束或无法实际实施的建议[8 (https://arxiv.org/html/2607.01306#bib.bib8)]。因此，人们越来越关注将领域知识直接纳入解释过程的方法，以生成不仅有效而且在实际中可行解释。

神经符号人工智能 (NeSy) 通过结合神经网络的表示学习能力与符号系统的推理能力，为解决这一挑战提供了有前景的基础[4 (https://arxiv.org/html/2607.01306#bib.bib9)]。近期工作已证明了神经符号方法在将逻辑约束、公平性要求和领域知识整合到机器学习系统中的价值[6 (https://arxiv.org/html/2607.01306#bib.bib4)]。这些特性使得神经符号推理成为可行性感知反事实解释生成的自然候选方法。

本研究探讨如何通过显式表示可允许干预和领域约束，将符号知识融入反事实解释的生成过程。我们将反事实生成形式化为一个受限搜索问题，其中候选解释必须同时满足预测目标和符号可行性要求。为探索这一想法，我们开发了 PACE，一个将机器学习预测与领域特定知识库上的符号推理相结合的神经符号框架。

在 Adult Income 数据集上使用多层感知器 (MLP) 分类器和答案集编程 (ASP) 进行符号推理，开展了一项案例研究。将该框架与来自不同范式的代表性反事实生成方法进行比较，包括随机搜索、多样化反事实解释 (DiCE)[10 (https://arxiv.org/html/2607.01306#bib.bib3)]、Wachter[14 (https://arxiv.org/html/2607.01306#bib.bib12)]、变分反事实网络 (VCNet)[5 (https://arxiv.org/html/2607.01306#bib.bib14)] 和反事实条件异变分自编码器 (C-CHVAE)[11 (https://arxiv.org/html/2607.01306#bib.bib13)]。结果突出了反事实生成中有效性与合理性之间的权衡，并展示了在搜索过程中显式强制实施符号可行性约束的效果。

本文的主要贡献如下：

1.  一个模块化的神经符号框架，将机器学习模型与符号推理相结合，用于受约束的反事实解释生成。
2.  一种可行性感知的反事实生成公式，其中符号约束显式定义了可允许的干预空间。
3.  一种基于 ASP 的实现，在反事实生成过程中强制执行领域特定的可行性约束。
4.  在 Adult Income 数据集上的实证评估，将所提出的框架与随机搜索、DiCE、Wachter、VCNet 和 C-CHVAE 进行比较，突出了有效性与合理性之间的权衡。

本文的其余部分组织如下。第 2 节 (https://arxiv.org/html/2607.01306#S2) 回顾了相关工作。第 3-5 节介绍了所提出的框架、架构和实现。第 6 节报告实验结果，第 7 节讨论发现和局限性，第 8 节总结全文。

## 2. 相关工作

现有的反事实生成方法大致可分为三类。第一类包括基于优化的方法，例如 Wachter 等人[14 (https://arxiv.org/html/2607.01306#bib.bib12)] 的方法和 DiCE[10 (https://arxiv.org/html/2607.01306#bib.bib3)]。这些方法在最小化对原始输入修改的同时搜索改变预测的实例，并且在 DiCE 的情况下，还鼓励生成的解释之间的多样性。尽管在寻找反事实方面有效，但可行性通常作为软约束处理，而非显式保证。第二类包括生成式方法，它们学习数据流形并生成逼真的候选解释。代表性例子包括 C-CHVAE[11 (https://arxiv.org/html/2607.01306#bib.bib13)]（在潜在表示空间中搜索）以及最近的生成方法如 VCNet[5 (https://arxiv.org/html/2607.01306#bib.bib14)]。这些方法通过约束反事实保持接近数据分布来提高真实性，但它们通常依赖于统计规律而非显式领域知识。第三类研究将符号推理和领域约束融入反事实生成。Bertossi 和 Reyes[3 (https://arxiv.org/html/2607.01306#bib.bib5)] 证明了答案集程序可用于以声明的方式指定对分类实体的反事实干预，对其进行推理，并通过查询回答纳入领域知识。更广泛地，神经符号人工智能结合了神经网络的表示学习能力与符号系统的透明度和推理能力[1 (https://arxiv.org/html/2607.01306#bib.bib6)]。近期工作将反事实公平性整合到逻辑张量网络 (LTN) 的神经符号框架中，展示了包括内在可解释性和处理子组公平性方面的灵活性等优势[6 (https://arxiv.org/html/2607.01306#bib.bib4)]。尽管取得了这些进展，高有效性的反事实生成方法与显式强制可行性的方法之间仍存在差距。基于优化和生成的技术通常将可操作性视为次要目标，而符号方法则侧重于干预分析，而非预测模型的解释生成。因此，许多现有方法可能生成成功改变预测但违反领域特定要求的反事实。

## 3. 方法论

### 3.1 问题公式化

我们将生成合理的反事实解释形式化为一个在领域受限输入空间上的受约束搜索问题。设 f: X → Y 为一个训练好的黑箱预测模型，将输入实例 x ∈ X 映射到离散分类结果 y ∈ Y。给定一个特定的事实实例 x，模型给出初始预测 f(x) = y，目标是找到一个反事实实例 x^{cf}，将模型的分类改变为目标结果 y^{cf} ≠ y。

为确保解释对最终用户而言是实用的，从 x 到 x^{cf} 的转换必须最小化量化所应用修改幅度的距离度量，同时严格保持在有效状态集合内。形式上，反事实解释 x^{cf} 定义为以下带约束公式的解：

x^{cf} = arg min_{x' ∈ Ω} d(x, x') (1)

服从预测翻转条件：

f(x^{cf}) ≠ f(x) (2)

其中 Ω ⊆ X 表示由领域特定规则确定的可行干预空间。在本工作中，距离 d 被实例化为修改特征的数量，

d(x, x') = ∑_j 𝟙[x_j ≠ x'_j], (3)

因此最小化 d 对应于最小化干预数量（最小性标准）。搜索过程中的预算 K 直接限制了这个计数。在此公式中，预测模型 f 被视为一个预言机，评估在有效子空间 Ω 内生成的候选。目标将通过限制到 Ω 来隐式处理语义一致性验证，与通过搜索度量 d 处理特征修改的最小化分离开来。

### 3.2 符号约束建模

可行干预空间 Ω 由一个声明性符号知识库定义，该知识库编码背景信息、逻辑规则以及控制领域属性的结构依赖关系。在实际解释上下文中，特征不能统一或独立地修改。我们将特征空间划分为不可变属性 X_I 和可编辑属性 X_E，使得 X = X_I ∪ X_E 且 X_I ∩ X_E = ∅。不可变属性表示用户干预或环境漂移无法改变的内在属性，强制实施硬约束：对于所有 i ∈ X_I，x'_i = x_i。可编辑属性表示易于修改的特征，受方向约束和关系依赖的限制。

符号知识库将这些属性映射到逻辑谓词，并根据一组合约评估候选。设 R = {R₁, R₂, ..., R_m} 为表示领域知识的符号规则集。一条规则可以表示方向不变性（防止特征朝不可能的方向变化），或关系不变性（指定一个特征的变化需要另一个特征相应变化）。因此，可行空间定义为：

Ω = {x' ∈ X | ∀i ∈ X_I, x'_i = x_i ∧ ∀R_k ∈ R, x' ⊧ R_k} (4)

其中 x' ⊧ R_k 表示候选实例满足逻辑约束 R_k。通过利用符号推理引擎来构建和评估公式 4 (https://arxiv.org/html/2607.01306#S3.E4)，该框架消除了无约束空间 X 中的无效区域。这种符号过滤将下游评估限制在仅尊重应用领域因果和逻辑公理的候选。

### 3.3 反事实搜索过程

该框架通过一个迭代的生成-验证搜索循环运行，系统地扩大干预距离，直到识别出最优的改变预测的实例。该过程首先将事实实例 x 转换为一组符号事实。符号推理器利用这些事实以及规则库 R 来建立不可变基线，并在可编辑子空间 X_E 内规划出有效的修改路径。

搜索空间基于显式的预算约束 K 逐步构建，该约束限制了同时特征更改的最大数量或允许的最大距离度量值。在每次迭代中，符号引擎充当生成器，在当前预算 K 内产生一组满足 Ω 中所有约束的候选干预。由于框架优先考虑稀疏解释，搜索从最小预算开始，在探索多属性组合之前先针对单属性修改。

一旦生成一批可行候选，它们被映射回预测模型所需的格式。模型 f 对每个候选进行前向评估，检查公式 2 (https://arxiv.org/html/2607.01306#S3.E2) 中指定的预测翻转条件。如果单个或多个候选满足该条件，则搜索终止，框架返回最小化 d(x, x') 的候选 x^{cf}。如果生成的候选均未能翻转 f 的预测，则搜索预算 K