通过反事实正确性约束机器学习辅助决策的因果影响

# 限制机器学习辅助决策的因果影响：基于反事实正确性的方法 来源：https://arxiv.org/html/2607.21806 Erik Skalnes计算机科学系，约翰霍普金斯大学，巴尔的摩，马里兰州，美国Jacob M. Chen计算机科学系，约翰霍普金斯大学，巴尔的摩，马里兰州，美国Michael Oberst计算机科学系，约翰霍普金斯大学，巴尔的摩，马里兰州，美国 ###### 摘要 预测性机器学习（ML）模型越来越多地被用于辅助高风险领域的人类决策者，例如医疗保健和刑事司法。人们越来越认识到需要评估部署这些系统对下游结果（如患者生存率或犯罪再犯率）的因果影响。随机对照试验（RCT）可以为部署模型的影响提供高质量的证据，但它们面临一个挑战：当模型为了提升预测性能而更新或重新训练时，通常无法进行重复试验。在这项工作中，我们提出了一种部分识别方法，利用先前的RCT数据来构建新模型因果效应的边界。我们方法的核心创新在于利用与细粒度预测准确性和下游结果相关的假设。我们通过两个单调性假设来实现这一点：首先，关于个体层面的“反事实正确性”（在其他条件相同的情况下，正确的预测导致非劣的结果）；其次，关于子组预测性能与结果之间的关系，可解释为关于对模型输出信任的假设。我们通过模拟研究演示了我们的方法，说明了与先前工作相比，纳入这些信息如何能够得出更具信息量的边界。 ## 1 引言 预测性机器学习（ML）模型越来越多地被部署到高风险决策领域，例如用于刑事司法的再犯预测或用于医生的诊断辅助工具 [Travaini2022MachineLAA, esteva2017dermatologist]。在这些领域，人们越来越认识到需要将人工智能（AI）系统视为干预措施，超越预测准确性，去思考其对决策者和下游结果的影响 [ben-michael2024-54, liu2025-ee, joshi2025-42, van-amsterdam2026-53]。在某些情况下，可以通过随机对照试验（RCT）来评估预测系统的影响，这些试验越来越多地被用于评估医学 [shaukat2022-23, yao2021-7c, upton2024-aa, gohil2024-10, Chen2025TheFTA, Shaban2025EmpoweringBCA] 和刑事司法 [imai2023experimental] 中的ML/AI干预措施。此类试验通常旨在评估部署ML/AI系统作为离散干预措施的影响，包括对决策者和下游结果的影响，同时牢记预测模型的影响是由人类行为介导的 [raji2025-6c]。然而，将不同的ML模型视为不同的干预措施的方法有其局限性。例如，通常不可能为模型的每个提议更新都进行新的RCT。这种不可行性带来了一个挑战：如果已经对一个模型进行了随机试验，之后又开发了一个新模型（具有更高的预测准确性），那么我们关于后一个模型的预期影响能说些什么？先前的工作在解决这一差距方面取得了一些进展。例如，nercessian2025data 提出了一种自适应试验设计，假设当模型的预测一致时，下游结果不会有所不同。chen2025 提出了一个用于部分识别的因果框架，放宽了这一假设，允许在个体层面上结果存在差异，即使预测完全相同。他们从用户信任的角度论证了这一可能性：例如，一个将每位患者都标记为高风险的模型，其影响临床行动的可能性可能低于一个具有更高精确度的模型，即使在对两者都同意的情况下也是如此。为了模拟性能的这一方面，他们假设结果的残余变异是由一个可观察的、每模型全局预测性能（例如，精确度）度量驱动的。然而，这两个框架都未能纳入个体层面模型预测的准确性——在许多场景中，我们可能期望正确的预测不会差于次优的预测。我们将这一概念称为反事实正确性：即新模型的预测在原始RCT中是否对个体受试者来说会是正确的。带着这一概念，我们在本工作中做出以下贡献：(i) 我们扩展了 chen2025 的因果框架，以纳入已知的“正确”预测标签：如果一个新模型做出了正确的预测，我们假设其结果不会差于做出错误预测的模型。(ii) 我们进一步扩展该框架，考虑条件性子组预测性能影响结果，而不是全局性能度量，这反映了用户可能形成对模型在哪些地方表现好或不好的心理启发式的想法。(iii) 我们在这些假设下提供了总体层面的上下界，并进一步提供了这些边界的一致且渐近正态的估计量。关键是，与 chen2025 不同，我们不假设模型性能度量是先验已知的，并考虑到例如子组性能需要从数据中估计的事实。(iv) 在半合成模拟研究中，我们说明纳入这些信息可以得出比先前工作更具信息量的边界。我们的框架在“正确”预测（我们常称之为“真实标签”）在RCT中所有个体上都可观测的环境中最为有用，并且明确假设预测本身不影响真实标签。当预测任务是根本性的诊断任务，并且有可能（即使代价高昂）对每个个体进行正确预测的回顾性评估时，这些条件可能同时出现。我们的框架可以扩展到真实标签并非总是可观测的环境，前提是存在特定的缺失机制。我们在附录G (https://arxiv.org/html/2607.21806#A7) 中更详细地讨论了其中一个例子。我们还在附录F (https://arxiv.org/html/2607.21806#A6) 中讨论了我们工作与其他相关领域的区别。 ## 2 设置与因果模型 符号：我们用大写字母 \(X\) 表示随机变量，小写字母 \(x\) 表示具体实现，用书法字体 \(\mathcal{X}\) 表示可能取值的集合。\(\mathbf{1}\{E\}\) 是事件 \(E\) 的指示函数，如果事件发生则等于 1，否则为 0。除非另有说明，\(\|\cdot\|\) 指 \(L^2(P)\) 范数，\(|\cdot|\) 指绝对值。 问题设置：我们将数据生成过程建模为图1(a) (https://arxiv.org/html/2607.21806#S2.F1.sf1) 中的有向无环图 (DAG)。有向边 \(A \rightarrow B\) 意味着 \(A\) 可能引起 \(B\)。没有边意味着 \(A\) 不引起 \(B\)。每个节点是一个随机变量。\(D \in \{1,\ldots,d\}\) 是 RCT 的臂（例如，有或没有 ML 辅助）。\(\mathcal{T}\) 是正在试验的模型集合，每个模型对应一个特定的臂。我们想要评估的模型（记为 \(\pi_e\)）是未试验的，所以 \(\pi_e \notin \mathcal{T}\)。\(X \in \mathcal{X}\) 是预测模型使用的特征，\(Z \in \mathcal{Z}\) 是“真实标签”，\(\hat{Z} \in \mathcal{Z}\) 是预测标签。模型 \(\Pi\) 对具有协变量 \(X\) 的个体的性能是一个实数 \(M \in \mathcal{M} \subseteq \mathbb{R}\)，其中 \(\mathcal{M}\) 表示可达到的度量值的范围。\(A \in \mathcal{A}\) 是决策者采取的行动，我们不显式建模，通常允许未被观测。最后，\(Y \in \mathbb{R}\) 是下游结果，受 \(A\) 和 \(X\) 影响。我们采用潜在结果符号 [richardson2013single]，其中 \(Y(\Pi = \pi)\) 表示如果我们设置 \(\Pi = \pi\) 将会观测到的 \(Y\) 的反事实值。

\( \Pi \) \( D \) \( \hat{Z} \) \( Y \) \( M \) \( X \) \( Z \) \( A \)

(a)

\( \Pi \) \( D \) \( \hat{Z} \) \( Y \) \( M \) \( X \) \( Z \)

(b)

图 1：图1(a) (https://arxiv.org/html/2607.21806#S2.F1.sf1) 是表示 RCT 结构的因果 DAG，其中 \(X\) 表示特征，\(D\) 是 RCT 的臂，它决定了用于预测的模型 \(\Pi\)。模型 \(\Pi\) 输出预测 \(\hat{Z}\)，作为 \(X\) 的一个确定性函数，其中 \(Z\) 是真实标签。\(X, Z\) 之间的虚线双向边表示 \(X\) 和 \(Z\) 可能共享一个未观测的共同原因。\(M\) 是 \(\Pi\) 的一个子组性能度量，\(A\) 是决策者的行动，\(Y\) 是下游结果。实心方块表示节点给定其父节点是确定性的，虚线圆圈表示节点是隐藏的。在图1(b) (https://arxiv.org/html/2607.21806#S2.F1.sf2) 中，我们展示了在对 \(A\) 应用潜在投影算子后的相同图，只考虑了 RCT 中观测到的变量。先前工作中也存在且由 chen2025 绘制的边以蓝色显示（重新解释 chen2025 的工作为具有隐式行动 \(A\)），而我们工作中新增的边以红色显示。

###### 示例 2.1（诊断推荐系统）。为了在具体例子中建立对我们符号的直觉，考虑一个旨在帮助放射科医生做出诊断的机器学习模型 (\(\pi\))。为了确定部署模型是否能改善患者结果，一个 RCT 可能将医生随机分配到控制组（无模型，\(D=1\)）或治疗组（有模型辅助，\(D=2\)）。该模型输入胸部 X 光片以及其他一般患者信息 (\(X\))，并返回一个预测诊断 (\(\hat{Z}\))，例如肺炎、气胸或健康。这个预测可能与真实诊断 (\(Z\)) 一致，也可能不一致；真实诊断可能在之后（例如，出院时）被记录。随着时间的推移，医生会了解已部署模型 (\(M\)) 在不同类型患者上的性能。这种学习可以通过计算每个模型中每个子组的度量（例如敏感性/特异性）来定量捕获。这些变量的知识会共同影响医生的行动 (\(A\))，进而影响一些感兴趣的结果，如生存率 (\(Y\))。这些行动未被建模，通常可能代表一组复杂的行动（例如，放射科报告中使用的特定语言）。我们的目标是评估在部署一个未包含在试验中的新模型 \(\pi_e\) 下的预期患者结果 \(Y\)。

我们现在正式介绍我们的因果框架，如图1 (https://arxiv.org/html/2607.21806#S2.F1) 图示。

\{restatable\} \[数据生成过程\] assumptionDataGeneratingProcess 我们假设 \(D, \Pi, X, Z, \hat{Z}, M, Y\) 是根据以下结构因果模型 (SCM) [pearl2009causality] 生成的，其中所有噪声变量 \(\epsilon\) 相互独立：
\[
\begin{aligned}
D &= f_D(\epsilon_D) \\
\Pi &= f_\Pi(D) \\
X, Z &= f_{XZ}(\epsilon_{XZ}) \\
\hat{Z} &= \Pi(X) \\
Y &= f_Y(X, Z, M, \hat{Z}, \epsilon_Y) \\
M &= f_M(X, \Pi)
\end{aligned}
\]

注意，我们的 SCM 允许 \(X\) 和 \(Z\) 之间存在各种因果关系的可能性（例如，\(X\) 引起 \(Z\)，反之亦然，或者两者由共同原因相关）。我们做几点补充观察：首先，我们的因果模型（反映在图1(b) (https://arxiv.org/html/2607.21806#S2.F1.sf2) 中）不包含 \(A\)，但可以被视为图1(a) (https://arxiv.org/html/2607.21806#S2.F1.sf1) 所示有向无环图 (DAG) 的一个投影，其中 \(A\) 介导了 \(\hat{Z}\) 对 \(Y\) 的影响。这种中介反映了一种自然直觉，即决策者（而非模型）是最终变化的通道，并为我们的一些假设提供了概念上的动机。其次，我们允许 \(X, Z\) 任意相关（例如，通过共同原因），但我们假设 \(\hat{Z}\) 对 \(Z\) 没有因果效应。最后，几个元素在给定其父节点的情况下是确定性的，特别是 \(\hat{Z}\) 和 \(M\)。

我们的目标：考虑一个模型 \(\pi_e \notin \mathcal{T}\)。我们的目标是估计如果 \(\pi_e\) 在 RCT 中时 \(Y\) 的期望。
\[
\mathbb{E}[Y(\pi_e)] = \mathbb{E}[Y(\hat{Z} = \pi_e(X), M = f_M(X, \pi_e))].
\]
(1)
这里使用的符号与示例2.1 (https://arxiv.org/html/2607.21806#S2.Thmexample1) 中定义的 SCM 符号结合使用。特别地，等式1 (https://arxiv.org/html/2607.21806#S2.E1) 的右边可以写成
\[
\mathbb{E}\left[f_Y(X, Z, f_M(X, \pi_e), \pi_e(X), \epsilon_Y)\right],
\]
¹
其中我们设 \(\hat{Z} = \pi_e(X), M = f_M(X, \pi_e)\) 并计算期望。我们再用一个例子来说明这个估计量。

###### 示例 2.2（接示例：诊断）。假设我们有来自先前关于放射学模型的 RCT 的数据。数据记录了所有模型在所有患者上的 \(Z\) 和 \(\hat{Z}\) 的值。对于每位患者，我们观察到在部署单个模型下的 \(Y\) 值。在这种情况下，给定一个新模型，我们的目标是评估其对患者生存率 (\(Y\)) 的影响，而无需进行新的 RCT，仅利用该新模型在先前 RCT 数据上的预测 (\(\hat{Z}\)) 的知识。

## 3 结构假设与证伪检验

为了对未试验模型的下游结果得出结论，我们需要对数据生成过程做出超越因果图所隐含的额外结构假设。首先，我们形式化我们的反事实正确性概念。

\{restatable\} [反事实正确性] assumptionCorrectActionsCauseNoHarm 我们假设正确的预测不会造成伤害。也就是说，对于所有 \(m, m' \in \mathcal{M}\) 和 \(z, z' \in \mathcal{Z}\) 且 \(z' \neq z\)，
\[
Y(\hat{Z} = z, M = m, Z = z) \ge Y(\hat{Z} = z', M = m', Z = z)
\]
该假设表明，当预测正确时，我们预期它们不会损害结果。²

虽然直观，但如果例如医生采取与预测相反的行动，这个假设可能会失败。不过，该假设具有可检验的含义，可以使用 RCT 数据来评估。

\{restatable\} [对 [第3节 (https://arxiv.org/html/2607.21806#S3)] 的证伪] propositionFalsificationAssumptioncorrect 令 \(\pi_c, \pi_w \in \mathcal{T}\) 为两个试验过的模型（其中一个将是“正确的”，另一个是“错误的”），并令 \(X_{c \neq w} \coloneqq \{x \in \mathcal{X} \mid \pi_c(x) \neq \pi_w(x)\}\)。