协调基于一致性的诊断与基于实际因果关系的解释

# 调和基于一致性诊断与实际因果性解释††thanks: 谨以此文纪念约瑟夫·Y·哈尔佩恩（Joseph Y. Halpern），一位伟大的学者、博学的研究者。

来源：https://arxiv.org/html/2605.08688
Leopoldo Bertossi 卡尔顿大学加拿大 & IMFDChile

###### 摘要

我们从可解释人工智能（XAI）的角度出发，建立了基于一致性的诊断（CBD）与实际因果性和因果责任之间的联系。CBD 尚未受到 XAI 社区的关注。这两个领域之间的联系可以对 XAI 和可解释数据管理产生富有成效的影响。

## 1 引言

可解释人工智能（XAI），特别是可解释机器学习，已成为 AI 领域的重要研究方向。由 Joe Halpern 和 Judea Pearl 首次提出的实际因果性（Actual Causality）\[17 (https://arxiv.org/html/2605.08688#bib.bib17)\]，以及由 Hana Chockler 和 Joe Halpern 首次提出的因果责任（Causal Responsibility）\[14 (https://arxiv.org/html/2605.08688#bib.bib14)\]，已被应用于 XAI，为机器学习（ML）模型的输出结果提供解释\[6 (https://arxiv.org/html/2605.08688#bib.bib6),7 (https://arxiv.org/html/2605.08688#bib.bib7),13 (https://arxiv.org/html/2605.08688#bib.bib13)\]。它们也被应用于可解释数据管理（XDM），为查询解答提供解释\[22 (https://arxiv.org/html/2605.08688#bib.bib22),4 (https://arxiv.org/html/2605.08688#bib.bib4),5 (https://arxiv.org/html/2605.08688#bib.bib5)\]（有关某些方法的综述见\[8 (https://arxiv.org/html/2605.08688#bib.bib8)\]）。因果性在机器学习中日益突出，不仅用于解释和解释学习到的模型，也用于学习本身\[20 (https://arxiv.org/html/2605.08688#bib.bib20),25 (https://arxiv.org/html/2605.08688#bib.bib25)\]。

人工智能的一个更经典的领域是基于模型的诊断（MBD）\[26 (https://arxiv.org/html/2605.08688#bib.bib26)\]。它涉及为知识表示中模型的结果提供解释。其显著形式之一是基于一致性的诊断（CBD），由 Ray Reiter 提出\[24 (https://arxiv.org/html/2605.08688#bib.bib24)\]，通常应用于获取表现出非预期行为的系统的诊断。CBD 在 XAI 中扮演着有趣的角色。溯因推理（Abduction），或称充分解释，是 MBD 的另一种形式，已融入 XAI\[1 (https://arxiv.org/html/2605.08688#bib.bib1),15 (https://arxiv.org/html/2605.08688#bib.bib15),19 (https://arxiv.org/html/2605.08688#bib.bib19),13 (https://arxiv.org/html/2605.08688#bib.bib13)\]；同时也融入了 XDM\[5 (https://arxiv.org/html/2605.08688#bib.bib5),12 (https://arxiv.org/html/2605.08688#bib.bib12),11 (https://arxiv.org/html/2605.08688#bib.bib11)\]。鉴于关于在 XAI 中使用溯因推理的最新研究较多，本研究不考虑溯因推理。CBD 受到的关注较少。

在本研究中，我们探讨了实际因果性与 CBD 之间的联系。它们尚未受到广泛关注；我们认为这两个领域可以相互受益。事实上，在\[4 (https://arxiv.org/html/2605.08688#bib.bib4)\]中，早期的联系使我们能够设计算法以在 XDM 中获取因果解释，并获得 CBD 的复杂性结果。出于篇幅限制以及为了最好地传达直觉，我们通过例子揭示并阐述了有趣的联系。然而，如何以一般术语表述这些联系应变得清晰。我们还展示了如何在技术层面上利用这些已建立的联系。更深入地探索它们是正在进行的工作的一部分。

在本研究中，我们坚持使用命题逻辑情形，即，逻辑规范、特征、分类器以及在其上执行 CBD 的模型均以命题逻辑编写或是二元的。

在第 2 节 (https://arxiv.org/html/2605.08688#S2) 中，我们回顾并介绍了用于解释分类模型（通常通过机器学习学习得到）输出的实际因果性和责任。在第 3 节 (https://arxiv.org/html/2605.08688#S3) 中，我们展示了如何将典型的 CBD 问题重构为实际因果性问题，以及责任如何成为 CBD 的新要素。基于 CBD 问题，我们给出了实际因果性和责任的精确定义。此外，我们展示了如何通过结构因果模型（Structural Causal Model）\[23 (https://arxiv.org/html/2605.08688#bib.bib23)\] 来表示 CBD 问题。在第 4 节 (https://arxiv.org/html/2605.08688#S4) 中，我们反其道而行之。我们采取一个通常通过实际因果性和责任（或 XAI 的其他归因方法）处理的分类问题，并将其表述为 CBD 问题。在第 5 节 (https://arxiv.org/html/2605.08688#S5) 中，我们展示了一个例子，说明 CBD 如何借鉴实际因果性的技术，反之亦然。

## 2 XAI 中的实际因果性与责任

本节的目的是双重的。我们通过一个例子描述并说明实际因果性的主要概念；我们还展示了如何在 XAI 中应用它们，在此例中，是为了从基于 ML 的分类器获取解释。在 CBD 上下文中的精确定义在第 3 节 (https://arxiv.org/html/2605.08688#S3) 中给出。

实际因果性\[17 (https://arxiv.org/html/2605.08688#bib.bib17),18 (https://arxiv.org/html/2605.08688#bib.bib18)\] 背后的基本思想是对模型的变量值进行反事实干预，改变它们的值以检测其他变量（通常是模型输出）是否发生变化。这些干预导致反事实和实际解释。

###### 示例 1

考虑图 1 (https://arxiv.org/html/2605.08688#S2.F1)(a) 中从训练数据学习到的分类器 $\mathcal{C}$。之后，它可能足够复杂，使我们难以了解其内部运作。$\mathcal{C}$ 完全可以作为（或被视为）黑盒分类器，但我们可以使用 $\mathcal{C}$ 的输入/输出关系。对于具有四个二元特征值的输入实体 $\mathbf{e}=\langle \mathbf{x}_1,\mathbf{x}_2,\mathbf{x}_3,\mathbf{x}_4\rangle\in\{0,1\}^4$，返回标签 $L(\mathbf{e})\in\{0,1\}$。

见图注见图注

图 1：(a) 二元分类器。(b) 特定输入/输出。如图 1 (https://arxiv.org/html/2605.08688#S2.F1)(b) 所示，对于输入 $\mathbf{e}=\langle 1,0,0,1\rangle$，我们得到标签 0。我们需要解释，即 $\mathbf{e}$ 中作为结果实际原因的价值观。对特征值的改变（干预）是否将标签从 0 变为 1？

见图注见图注

图 2：(a) 成功的干预。(b) 不成功的干预。如图 2 (https://arxiv.org/html/2605.08688#S2.F2)(a) 所示，$\mathbf{x}_1$ 从 1 变为 0 改变了标签。值 $\mathbf{x}_1=1$ 被称为初始标签的反事实原因：仅改变 $\mathbf{x}_1$ 就会改变标签。

现在，让我们关注 $\mathbf{x}_2$。图 2 (https://arxiv.org/html/2605.08688#S2.F2)(b) 显示 $\mathbf{x}_2=0$ 不是 $L=0$ 的反事实原因。让我们暂时保留其值，并考虑图 3 (https://arxiv.org/html/2605.08688#S2.F3)(a) 中对 $\mathbf{x}_3, \mathbf{x}_4$ 的以下不成功干预。

见图注见图注

图 3：(a) 不成功的干预。(b) 成功的干预。如果除了这两项变更外，我们再次将 $\mathbf{x}_2$ 改为 1，我们现在成功了，如图 3 (https://arxiv.org/html/2605.08688#S2.F3)(b) 所示。我们称 $\mathbf{x}_2=0$ 是原始标签的实际原因，且 $\Gamma=\{\mathbf{x}_3=0, \mathbf{x}_4=1\}$ 是 $\mathbf{x}_2=0$ 的偶然集（contingency set, CS）：为了使 $\mathbf{x}_2$ 的变化改变标签，需要额外的、偶然的变更集。然而，仅凭这两个偶然变更并不会改变标签。我们称 $\mathbf{e}'=\langle 0,0,0,1\rangle$ 和 $\mathbf{e}''=\langle 1,1,1,0\rangle$ 是原始实体 $\mathbf{e}$ 的反事实版本（counterfactuals）。■

实际原因的因果责任是其作为原因强度的数值量化。它基于实际原因需要多少额外变更才能改变标签。实际上，对于实际原因 $\mathbf{x}=v$，其责任定义为 $\text{Resp}(\mathbf{x}):=1/(1+\|\Gamma\|)$，其中 $\Gamma$ 是 $\mathbf{x}$ 的最小尺寸 CS。根据定义，非实际原因的特征值责任为 0。

###### 示例 2

（续示例 1 (https://arxiv.org/html/2605.08688#Thmexample1)）由于 $\mathbf{e}$ 中的 $\mathbf{x}_1=1$ 不需要额外变更，$\Gamma=\emptyset$ 是其最小 CS，因此，其责任为 $\text{Resp}(\mathbf{x}_1)=1$，这是最大可能的责任。如果我们假设如上所述 $\Gamma=\{\mathbf{x}_3=0, \mathbf{x}_4=1\}$ 是 $\mathbf{x}_2=0$ 的最小 CS，则 $\text{Resp}(\mathbf{x}_2)=1/(1+2)=1/3$。■

实际因果性为观测提供反事实解释。一般而言，它们是导致观察到的行为的系统“组件”。反事实原因是偶然集为空的实际原因。因此，反事实原因是强原因，因为它们自身就能解释观察结果。非反事实原因的实际原因是较弱的原因，它们需要其他组件的协助才能解释观察结果。

在实际因果性的某些应用中，有些变量被声明为内生变量（endogenous），而其余变量则为外生变量（exogenous）。前者出于因果目的感兴趣。特别是，只有内生变量可以是实际原因和 CS 的成员。在我们的例子中，我们可以声明 $\mathbf{x}_3$ 为外生变量；例如，如果我们知道其值必须为 0，无论发生什么情况。该值不受干预影响。在这种情况下，$\mathbf{x}_3$ 不再可能是 CS 的成员。我们将不得不从其他地方寻找偶然性。内生/外生变量的选择取决于应用。有关相关讨论，见\[23 (https://arxiv.org/html/2605.08688#bib.bib23), sec. 5\]。

实际因果性和责任的应用不一定需要了解分类器的“内部”，它可以作为“黑盒”处理。只需要输入/输出关系。责任已成为，正如 XAI 中更广泛所称的，一种归因分数。获得的解释类型是局部的，因为它们仅适用于单个输入实体中的值。如定义所示，责任不提供对分类器行为的全球解释。

在可解释 ML 中，责任分数的计算已知是不可处理的，即使在二元情况下也是如此\[7 (https://arxiv.org/html/2605.08688#bib.bib7)\]。上文我们在二元设置中引入了责任。当特征值不是二元时，其定义需要扩展。这在\[6 (https://arxiv.org/html/2605.08688#bib.bib6)\] 中完成、分析并进行了实验（另见\[9 (https://arxiv.org/html/2605.08688#bib.bib9)\]）。

## 3 作为实际因果性的基于一致性诊断

我们将首先通过一个例子介绍并说明基于一致性诊断（CBD）\[24 (https://arxiv.org/html/2605.08688#bib.bib24),16 (https://arxiv.org/html/2605.08688#bib.bib16)\]。之后，我们将展示如何将其表述为与分类相关的实际因果性问题。

如果我们面对一个表现出意外或异常行为的系统，我们希望为此获得诊断，即某种形式的解释。诊断是从系统模型中获得的。

###### 示例 3

图 4 (https://arxiv.org/html/2605.08688#S3.F4)(a) 显示了一个非常简单的布尔电路，包含一个与门 $A$ 和一个或门 $O$。输入变量为 $a, b, c$，$A$ 的中间输出变量为 $x$，最终输出变量为 $d$；它们均取值 0 或 1。命题变量 $a$ 的预期含义是“输入 $a$ 为真”（或取值 1），等等。在指示的输入和输出下，电路似乎按预期运行。

见图注见图注

图 4：(a) 布尔电路。(b) 故障布尔电路。图 4 (https://arxiv.org/html/2605.08688#S3.F4)(b) 显示了一种非预期行为：对于这些输入，输出应为 1。我们需要对电路的异常行为进行诊断。诊断需要表征；为此，我们需要一个模型。

在此例中，电路正常工作时的逻辑模型是一组命题公式：$\{x\leftrightarrow(a\wedge b), d\leftrightarrow(x\vee c)\}$。然而，我们手头的电路由于工作异常，并未由这些公式建模。此外，观测 $\text{Obs}=\{a,\neg b,c,\neg d\}$，表明 $a$ 和 $c$ 为真，但 $b$ 和 $d$ 为假，与此理想模型相互不一致：没有对命题变量真值的赋值能使组合为真。从它们的组合中，我们无法逻辑地获得任何有用信息。

我们可能希望拥有一个允许故障或异常行为的模型。从这样的模型中，我们可以尝试获取它们的解释。一个更好、更灵活的模型，允许故障，并指定组件在正常条件下的行为如下：

$$
\mathcal{M}=\{\neg \text{ab}_A \longrightarrow(x\leftrightarrow(a\wedge b)), \neg \text{ab}_O \longrightarrow(d\leftrightarrow(x\vee c))\}. \quad (1)
$$

第一个公式表示“当 $A$ 不正常时，它作为与门工作”，等等。这里，$\text{ab}_A$ 和 $\text{ab}_O$ 是新的命题变量。这是一个“弱故障模型”，因为它指定了在正常条件下的行为，但未指定在异常条件下的行为。这是 CBD 下常见的模型类型\[16 (https://arxiv.org/html/2605.08688#bib.bib16)\]。

模型 $\mathcal{M}$ 假设唯一可能故障的组件是，在本例中，门（但连接它们的导线不是），这是一种建模选择。现在门可能异常（或故障），且 $\text{Obs}\cup \mathcal{M}$ 是一个完全一致的公式集。当进一步指定门不异常时，我们重新得到：

$$
\{a,\neg b,c,\neg d\}\cup \mathcal{M}\cup\{\neg \text{ab}_A,\neg \text{ab}_O\} \text{ 是不一致的}. \quad (2)
$$

那么，某些东西一定是异常的，通过一致性恢复，我们将能够表征和计算诊断。如果我们在 (2) (https://arxiv.org/html/2605.08688#S3.E2) 中使门 $O$ 异常，我们恢复了一致性，即，与 (2) 相反，$\text{Obs}\cup \mathcal{M}\cup\{\neg \text{ab}_A, \underline{\text{ab}_O}\}$ 是一致的（基于所做的变更）。因此，根据定义，$\Delta=\{\text{ab}_O\}$ 是一个