因果基础模型

# 因果基础模型  
来源：https://arxiv.org/html/2609.03003  
Christopher Stithchristopher@layer6\.ai††贡献等同\.Hossein Rahmani11footnotemark:1hossein\.rahmani@td\.com  
所属机构：加拿大多伦多TD银行集团  
Jesse C\. Cresswelljesse@layer6\.ai  
所属机构：加拿大多伦多Layer 6 AI  

###### 摘要  
因果推断是从数据中估计处理或干预效果的实践。传统上，每个新问题都需要定制流程：首先提出因果机制，选择合适的估计器，最后进行训练。与此同时，在多样化的环境和模态中，机器学习的大部分已转向基础模型的范式：大规模预训练网络，可直接应用于新任务而无需微调。*因果基础模型* (CFMs) 将这一范式引入因果推断。CFMs是预训练的神经网络，能够使用上下文学习在全新数据集上估计因果量（如平均处理效应），且无需模型更新。本文为这一新兴领域提供了实用入门。我们在讨论CFMs之前，总结了因果推断和机器学习的必要背景知识。全文包含示例代码和Jupyter笔记本，点击https://github.com/layer6ai-labs/cfms/blob/main/notebooks/Foundation_models_quickstart.ipynb图标即可访问。完整代码库可在github\.com/layer6ai\-labs/cfms (https://github.com/layer6ai-labs/cfms)获取。

## 1 引言  
因果推断是估计变量间因果效应的实践（Pearl, 2009a (https://arxiv.org/html/2609.03003#bib.bib33)；Imbens and Rubin, 2015 (https://arxiv.org/html/2609.03003#bib.bib13)）。例如：某种药物在预防特定疾病方面有多有效？某项政策是否导致了失业率下降？如果央行提高利率，对消费者支出会有何影响？因果推断试图回答这些问题，同时避免将相关性误认为因果的常见陷阱，正如谚语所言“相关非因果”。因果推断在经济与政策制定（Athey and Imbens, 2017 (https://arxiv.org/html/2609.03003#bib.bib39)；Chernozhukov et al., 2018 (https://arxiv.org/html/2609.03003#bib.bib6)）、市场营销（Bottou et al., 2013 (https://arxiv.org/html/2609.03003#bib.bib40)；Gordon et al., 2019 (https://arxiv.org/html/2609.03003#bib.bib41)）和医学（Alaa and van der Schaar, 2017 (https://arxiv.org/html/2609.03003#bib.bib35)；Shalit et al., 2017 (https://arxiv.org/html/2609.03003#bib.bib38)）等多个领域都有应用。

因果推断领域已经构建了丰富的估计方法库，包括贝叶斯加法回归树（Chipman et al., 2010 (https://arxiv.org/html/2609.03003#bib.bib34)）、双重机器学习（Chernozhukov et al., 2018 (https://arxiv.org/html/2609.03003#bib.bib6)）、因果森林（Wager and Athey, 2018 (https://arxiv.org/html/2609.03003#bib.bib7)），以及S-、T-和X-学习器（Künzel et al., 2019 (https://arxiv.org/html/2609.03003#bib.bib66)）。使用大多数这些方法处理任何特定问题时，都必须首先研究数据并提出潜在的因果机制，选择适合该机制的估计器，在验证数据上调整超参数，然后才在数据上训练最终的估计器。对于每个新问题，都必须重复完整的流程，没有机会重用已调优的模型或在任务间迁移知识。

最近，*因果基础模型*作为一种强大且高效的替代方案应运而生。这些是预训练的神经网络，可以立即应用于任何因果推断任务，*无需进一步训练或微调*。因果基础模型 (CFMs) 的核心位于因果推断和*学会学习*的交叉点，其中模型学会从观测数据中预测未见场景中的因果效应。111在机器学习中，学会学习通常称为*元学习*（Finn et al., 2017 (https://arxiv.org/html/2609.03003#bib.bib42)）。然而，元学习在因果推断中也有其特定含义（Künzel et al., 2019 (https://arxiv.org/html/2609.03003#bib.bib66)；Frauen et al., 2026 (https://arxiv.org/html/2609.03003#bib.bib43)），因此本文避免使用该术语。它们在从可能的数据生成过程和因果机制的先验中采样的任务上进行训练，学习在各种场景中估计因果效应。在推理时，它们利用标记示例上的上下文学习进行摊销贝叶斯推理并做出因果估计（图1 (https://arxiv.org/html/2609.03003#S1.F1)）。  
参见说明文字 model=CATEEstimator\(\) model\.fit\(X\_ctx,T\_ctx,Y\_ctx\) cate=model\.estimate\_cate\(X\_qry\)  
图1：因果基础模型使用上下文学习在每个新数据集上进行预测，无需训练或微调。提供标记的上下文数据（\(X_{ctx}\)等）作为示例，以便模型可以在未标记的查询数据（\(X_{qry}\)）上预测因果效应。  
快速入门示例可在此笔记本中找到：https://github.com/layer6ai-labs/cfms/blob/main/notebooks/Foundation_models_quickstart.ipynb。

在本文中，我们提供了关于CFMs的实践操作入门。我们的主要目标是为读者提供他们需要的信息、工具和示例，以便在自己的工作中使用CFMs。我们在全文包含示例代码和Jupyter笔记本，以帮助读者立即开始使用这些模型。点击遍布全文的https://github.com/layer6ai-labs/cfms/tree/main图标即可访问这些资源。我们还在github\.com/layer6ai\-labs/cfms (https://github.com/layer6ai-labs/cfms/tree/main)发布完整代码库。

CFMs在因果推断任务中已展示了顶尖性能，我们预计时间只会证明其进一步的变革性应用。值得注意的是，这些模型不仅带来了推理速度的大幅提升，还提高了性能。本文旨在向更广泛的受众介绍CFMs，比较CFM设计中采用的各种方法，讨论该领域的最新发展，并邀请研究人员和从业者尝试使用它们。

我们首先在第2节 (https://arxiv.org/html/2609.03003#S2)讨论来自因果推断和机器学习的必要背景材料，然后再进入第3节 (https://arxiv.org/html/2609.03003#S3)关于CFMs的核心内容。在第4节 (https://arxiv.org/html/2609.03003#S4)中，我们对首批三个公开可用的CFMs（Robertson et al., 2025 (https://arxiv.org/html/2609.03003#bib.bib2)；Balazadeh et al., 2025 (https://arxiv.org/html/2609.03003#bib.bib3)；Ma et al., 2026 (https://arxiv.org/html/2609.03003#bib.bib4)）与流行的传统因果推断模型进行了基准测试。在第5节 (https://arxiv.org/html/2609.03003#S5)中，我们回顾了该领域的许多新进展，这些进展构成了未来有前景的增长领域，以及CFMs在其他科学领域的应用。

## 2 背景  
### 2\.1 为何需要因果推断？  
当预测模型提供出色结果时，为何还需要因果机制？Mooij等人（2016）(https://arxiv.org/html/2609.03003#bib.bib16)给出了一个经典例证，说明了*预测*推断和*因果*推断之间的区别。在欧洲国家，鹳鸟较多的地区往往也具有较高的人类出生率（Matthews, 2000 (https://arxiv.org/html/2609.03003#bib.bib17)）。考虑一个纯粹根据鹳鸟数量预测出生率的模型：它会利用这种相关性，并在观测到的区域预测得很好。如果我们问它“如果我们将一个地区的鹳鸟数量翻倍，出生率会发生什么变化？”，这个模型会预测什么？这是一个*干预*问题，而不仅仅是预测性问题，仅靠相关性分析是不够的。未能区分这些微妙之处将导致公共政策灾难：预测模型可能建议为了增加人类出生率，一个国家应该进口更多的鹳鸟！

更详细地说，预测模型学习的是鹳鸟数量和出生率之间的*观测*关系，但政策应用需要了解干预性或*因果*关系。预测模型回答的问题是“对于这个个体，在当前情况下我们预期会发生什么结果？”。因果模型回答的问题是“如果我们进行干预，我们预期这个个体的结果会是什么？”。后一个问题需要推理生成数据的机制，而不仅仅是观察数据本身。根据潜在机制的不同，这两个问题可能有不同的或相同的答案。没有额外的假设，仅凭观测数据无法判断是哪种情况。在接下来的讨论中，我们将形式化地说明如何回答这个问题。

### 2\.2 因果推断的潜在结果框架  
我们采用Neyman-Rubin潜在结果框架（Rubin, 2005 (https://arxiv.org/html/2609.03003#bib.bib19)；Imbens and Rubin, 2015 (https://arxiv.org/html/2609.03003#bib.bib13)）。我们用大写字母表示随机变量，小写字母表示它们可能取的值。我们让\(T \subset \mathcal{T} \subset \mathbb{R}\)表示可以应用的干预*处理空间*。\(T\) \(\mathcal{T}\) 有三个常见选项：
- •（二元处理）\(T = \{0, 1\}\) \(\mathcal{T} = \{0, 1\}\)，例如对照组 vs. 处理组。
- •（多臂处理）\(T = \{1, \ldots, K\}\) \(\mathcal{T} = \{1, \ldots, K\}\)，例如在\(K\)种不同的医疗处理之间进行选择。
- •（连续处理）\(T\) \(\mathcal{T}\) 是一个区间，通常归一化到\([0, 1]\)。在金融环境中，这可以表示提供给客户的价格或利率。

我们让\(X\) \(\mathcal{X}\) 表示协变量空间，\(Y\) \(\mathcal{Y}\) 表示结果空间（通常是\(\mathbb{R}\)或一个分类空间）。例如，\(X = \mathbb{N} \times [0, \infty)\)可以表示\(\text{年龄} \times \text{收入}\)的协变量空间，\(Y = \{0, 1\}\)可以表示客户是否购买了产品。观测值\(X \in \mathcal{X}\)，\(T \in \mathcal{T}\)和\(Y \in \mathcal{Y}\)是随机变量。如果我们观测的是一个包含\(N\)个个体/单元的总体，我们使用下标如\(X_n, T_n\)和\(Y_n\)来表示个体层面的变量，即第\(n\)个个体的观测协变量、处理和结果。

潜在结果框架的关键组成部分是，对于每一个处理值\(t \in \mathcal{T}\)，假设存在一个随机变量\(Y(t)\)，它是在处理\(T = t\)下*将会发生*的结果。变量\(Y(t)\)被称为*潜在结果*。在个体层面上，\(Y_n(t)\)表示个体\(n\)如果接受处理\(t\)的潜在结果。我们假设对于所有\(t \in \mathcal{T}\)，\(T = t \implies Y = Y(t)\)。(1) 这被称为*一致性假设*（Neal, 2020 (https://arxiv.org/html/2609.03003#bib.bib5)）。它指出潜在结果必须与实际观测结果一致。可以想象存在一个全知的先知，知道每个个体的每一个潜在结果；一致性假设表明，当应用特定处理时，先知的知识与现实世界中发生的情况是一致的。

不幸的是，我们并非全知的先知。对于给定的个体，我们永远无法知道所有的潜在结果。一旦个体\(n\)接受了处理\(t\)，我们永远无法知道如果施加了\(t' \neq t\)会发生什么。这被称为因果推断的基本问题（Holland, 1986 (https://arxiv.org/html/2609.03003#bib.bib28)）。

**因果推断的基本问题**  
如果一个个体的观测处理和结果分别是\(t\)和\(y\)，那么对于\(t' \neq t\)，不可能知道\(Y(t')\)。观测到的处理\(T = t\)和结果\(Y = Y(t)\)被称为*事实*处理和结果。任何假设性的替代方案，如\(t'\)和\(Y(t')\)，被称为*反事实*处理和结果。

请注意，即使完全了解每个协变量，\(Y(t)\)也不一定是确定性的；外生噪声意味着具有相同协变量\(X\)的个体的潜在结果也可能不同。这就是为什么通常关注的因果量是期望或分布，而不是逐点的反事实。

我们不必总是直接使用潜在结果，不同的应用需要不同的汇总统计量。因此，我们考虑几个重要的*因果估计量*：222我们将在第2.3节 (https://arxiv.org/html/2609.03003#S2.SS3)回归到因果估计量的一般定义。

- •*条件期望潜在结果*（CEPO），对于具有协变量\(x\)并接受相同处理\(t\)的个体群体，是 \(\mu_t(x) := \mathbb{E}[Y(t) \mid X = x]\)。(2) 因此，CEPO \(\mu_t(x)\) 是对具有协变量\(X = x\)的个体施加处理\(t\)的预期结果。CEPO对于比较不同处理非常有用，这引出了下一项。
- •在二元处理设置中，*平均处理效应*（ATE）是 \(\text{ATE} := \mathbb{E}[Y(1) - Y(0)]\)，(3) 其中期望是在\(X\)上进行的。ATE告诉我们，如果对整个人群应用处理\(t=1\)，与基线\(t=0\)相比，结果平均会变化多少。注意，ATE可以用CEPO表示，利用期望的线性和全期望定律：
    \[
    \begin{aligned}
    \text{ATE} &= \mathbb{E}[Y(1)] - \mathbb{E}[Y(0)] \\
    &= \mathbb{E}[\mathbb{E}[Y(1) \mid X = x]] - \mathbb{E}[\mathbb{E}[Y(0) \mid X = x]] \\
    &= \mathbb{E}[\mu_1(x)] - \mathbb{E}[\mu_0(x)] = \mathbb{E}[\mu_1(x) - \mu_0(x)].
    \end{aligned}
    \](4)
- •仅看ATE可能会掩盖强烈的效果，如果人群的某些部分受到的影响与其他人不同。因此，我们还考虑*条件平均处理效应*（CATE），对于具有协变量\(x\)的个体群体，\(\text{CATE}(x) := \mathbb{E}[Y(1) - Y(0) \mid X = x] = \mu_1(x) - \mu_0(x)\)。(5) 由此定义，我们有\(\text{ATE} = \mathbb{E}[\text{CATE}(x)]\)。CATE告诉我们，对具有观测协变量\(X=x\)的随机个体应用处理\(t=1\)，我们预期会产生多大的因果效应。
- •在连续处理设置中，对于具有协变量\(x\)的个体，*个体处理反应曲线*（ITRC）是函数 \(t \mapsto \mu_t(x) \qquad t \in \mathcal{T}\)。(6) 对于处理的任何值，ITRC描绘了具有协变量\(X=x\)的随机个体的预期结果。连续处理设置非常适合优化，我们可以问“什么处理水平能使反应最大化？”。ITRC在医学设置中也被称为个体或条件*剂量-反应曲线*（Schwab et al., 2020 (https://arxiv.org/html/2609.03003#bib.bib31)）。

### 2\.3 数据生成过程与可识别性  
设\(P = P(X, T, \{Y(t)\}_{t \in \mathcal{T}}, Y)\)