基于最大熵校准的工作负载保持差分隐私合成数据用于因果推断

# 通过最大熵校准保持工作负载的差分隐私合成数据用于因果推断
来源：https://arxiv.org/html/2607.08122

Amir Asiaee (mailto:[email protected]?Subject=Your%20UAI%202026%20paper)  
Kaveh Aryan  
Department of Informatics  
King's College London  
London, UK  

###### 摘要

基于工作负载的差分隐私 (DP) 合成数据方法私下测量聚合查询，并将带噪声的答案后处理为合成记录。通用工作负载可以实现强分布保真度，但因果估计量（如平均处理效应 ATE）依赖于处理组平衡和结果矩，而通用边际分布不一定能保持这些。我们提出*因果工作负载*：围绕双重鲁棒因果估计量使用的正交矩设计的 DP 查询集。释放的工作负载可以直接用于稳定的矩映射估计量，或者通过最大熵校准重建为可重用的合成数据；我们的理论将 ATE 误差分解为采样项、隐私项、工作负载近似项、蒙特卡洛项和校准项。我们还引入了 Causal-AIM，一种自适应工作负载选择器，以及一种用于从 DP 合成数据构建置信区间的噪声感知多重插补 (NA+MI) 过程。由于工作负载只释放一次，同一张 DP 合成表可以支持 ATE、ATT 和子组分析，而无需额外的隐私开销。实验表明，在严格的隐私预算和校准不确定性下，因果工作负载最为有用，而随着隐私放宽，通用工作负载通常在点估计 RMSE 方面保持优势。更广泛的教训是存在一种权衡：分布保真度有助于点估计精度，但有效的因果推断需要保持因果矩，并传播 DP 噪声，而不是将合成行视为真实数据。

## 1. 引言

差分隐私越来越多地用于在健康、教育和社会科学等领域公开发布敏感表格数据集 [dwork2014foundations]。一种常见的部署模式是发布 DP 合成微观数据，以便下游分析人员可以重用现有的统计和机器学习工作流程 [liang_generating_2026]。最先进的 DP 合成方法通常遵循“选择-测量-重建”流程：选择一组低维查询，私下测量它们，然后从带噪声的答案中重建一个分布（通常是最大熵/图模型）[mckenna2021nist, mckenna2022aim]。然而，*因果推断*引入了额外的结构和脆弱性。即使合成数据匹配许多边际分布，因果估计量也可能因重叠、混杂结构或条件结果模型中的微妙扭曲而产生偏差。最近的研究强调，DP 噪声会扩大因果估计量的方差，并且除非明确建模，否则会使朴素的置信区间失效 [farzam2024causal, schroder2025private, dp-cate2025, ohnishi2024covbal]。本文提出了一个具体问题：

> *合成数据机制必须保留哪些 DP 查询才能实现有效的因果推断，隐私与因果之间存在哪些基本权衡？*

我们通过设计*因果工作负载*并给出稳定的基于工作负载的估计量和校准合成数据路径的显式界限来回答这个问题。

#### 关键思想：将因果工作负载作为正交矩。

现代因果估计量，包括双重鲁棒 (DR) 估计量 [robins1994aipw] 和双重/去偏机器学习 [chernozhukov2018dml]，依赖于其期望能识别目标估计量的得分函数。我们建议选择一个工作负载，在 DP 下直接测量这些正交矩，或它们的基近似。释放的工作负载可以通过两种方式使用：直接 qq 路径将稳定估计量评估为释放矩的函数，而合成数据路径则重建一个与这些矩匹配的最大熵分布，并采样可重用的合成记录。我们的理论控制了两条路径中的矩级误差，并为合成数据分析增加了额外的校准项和蒙特卡洛项。

#### 为什么还要用合成数据？

如果目标只是 ATE，可以直接释放一个 DP ATE 估计量。当许多分析师提出许多问题，或者我们希望在不重复访问私有数据的情况下保留一整*类*因果估计量（ATE、平均处理效应 ATT（E[Y(1)−Y(0)∣T=1]）、子组效应、平衡诊断等）时，合成数据就很有价值。因果工作负载将这种“分析类别”观点形式化；第 7 节提供了直接证据，表明单次发布即可支持 ATE、ATT 和子组分析，而无需额外隐私开销，这种重用特性是直接的 DP ATE 估计量在结构上无法提供的。

#### 我们的贡献。

1.  我们定义了*因果工作负载*：基于正交得分矩构建的 DP 查询集，包含两条下游路径：直接矩插值和最大熵合成数据重建。
2.  我们证明了有限样本误差界，将 ATE 误差与释放的工作负载误差联系起来，并将合成数据误差分解为采样项、隐私项、工作负载近似项、蒙特卡洛项和校准项。所有证明汇总在附录 E 中。
3.  我们引入了 Causal-AIM，一种自适应因果工作负载选择器，以及 NA+MI，一种用于从 DP 合成数据构建置信区间的噪声感知多重插补过程。
4.  实验表明，Causal + NA+MI 是唯一在所有四个基准测试上覆盖率接近标称值的私有方法（在 ε≤1 时覆盖率达 99.8−100%），而朴素的合成数据分析覆盖率仍低于 35.2%；同一份发布数据还支持 ATE、ATT 和子组分析，无需额外隐私开销。

## 2. 相关工作

#### 简要 DP 合成基础。

若替换一条记录最多使输出分布改变 e^ε 倍（容差为 δ），则机制是 (ε,δ)-差分隐私的 [dwork2014foundations]。基于工作负载的 DP 合成数据方法首先选择一组聚合查询（*工作负载*），向这些查询发布带噪声的答案，然后重建一个其查询答案与噪声测量值匹配的分布。最终合成记录从该重建分布中采样；重建和采样属于后处理，因此不消耗额外隐私预算。这种“选择-测量-重建”模板是 MWEM（乘法权重指数机制；hardt2012mwem）的基础，它迭代地修正匹配不佳的查询；Private-PGM，它将图模型拟合到带噪声的低阶边际分布 [mckenna2019privatepgm]；MST（使用 Private-PGM 重建的最大生成树边际选择；mckenna2021nist），该机制赢得了 NIST 合成数据挑战赛；以及 AIM（自适应迭代机制；mckenna2022aim），它针对目标工作负载自适应地选择边际分布。

#### 基于工作负载的 DP 合成数据。

一大类方法测量一组边际/低维查询，并通过施加结构（如图模型分解或候选分布上的优化目标）来重建分布，包括 Private-PGM [mckenna2019privatepgm] 及其 NIST-MST/MST 实例 [mckenna2021nist]、自适应 AIM 机制 [mckenna2022aim] 以及最近基于最优传输的方法 [donhauser2024privpgd]。基准测试表明，这些方法在许多指标上可以优于表格数据的 GAN 类合成 [tao2022benchmark, bowen2020comparative]。这些方法是为通用保真度而设计的；没有一种明确针对因果估计量。

#### 从 DP 合成数据推断。

将 DP 合成数据天真地视为真实数据会导致无效推断，例如 I 类错误膨胀 [perez2024mwutest]。噪声感知程序将 DP 噪声的贝叶斯建模与多重插补相结合，以恢复校准的不确定性 [raisa2023noiseaware]。对于记录级合成微观数据（行表示个体单元而不仅仅是聚合汇总的表），经典的多重插补推断可追溯到 reiter2003inference 和 raghunathan2003multiple。我们的噪声感知多重插补 (NA+MI) 程序基于此方向，但通过选择由正交得分结构通知的工作负载，专门针对因果估计量。

#### DP 下的因果推断。

最近的论文提出了具有点估计和区间估计保证的 DP 因果估计量。PrivATE [schroder2025private] 开发了用于 ATE 的双重鲁棒 DP 置信区间，采用输出扰动。ohnishi2024covbal 提出了具有有限样本保证的 DP 协变量平衡。DP-CATE [dp-cate2025] 将正交学习扩展到 DP 下的异质性处理效应。farzam2024causal 广泛研究了 DP 下的因果推断，并分析了 DP 机制如何扩大 ATE 方差并扭曲个体层面的效应。更早的，niu2022dp_cate 提出了异构因果效应的 DP 估计，同时 lebeda2025model_agnostic 开发了一个与模型无关的 DP 因果框架。我们的工作则聚焦于*合成数据*作为发布对象：我们不发布单个 DP 估计量，而是发布一个支持整类因果分析的 DP 合成数据集。

#### 双重/去偏机器学习。

我们的因果工作负载设计借鉴了 chernozhukov2018dml 的正交矩框架，该框架表明，当干扰函数以较慢速率估计时，Neyman 正交得分能够实现对处理效应的根号 n 推断。我们利用这种结构来选择能保留正交得分所需矩的工作负载。

#### 因果先验用于合成数据。

一个相关方向是将因果或分析特定的先验知识*编码到合成生成过程本身*：奖励引导生成将生成器导向目标下游效用，例如回归系数恢复 [jackson2026reward]，而事后约束包装器将部分因果结构（如可信或禁止的边以及单调性）注入任意的表格生成器 [asiaee2026causalwrap]。我们的目标不同：我们不是在生成过程中编码先验，而是设计 DP 测量，使得发布的数据集能保留目标因果估计量，并在下游推断中考虑 DP 噪声。

## 3. 问题设置

我们观测独立同分布数据 D={ (Xi, Ti, Yi) }_{i=1}^n，其中 T∈{0,1} 是处理变量。目标是平均处理效应 (ATE) τ:=E[Y(1)−Y(0)]。

###### 假设 1 (无混杂性与正性)

(Y(1), Y(0)) ⟂ T | X，并且倾向得分 [rosenbaum1983propensity] e(x):=Pr(T=1|X=x) 几乎必然满足 e(x)∈[η,1−η] 对于某个 η>0。

在假设 1 下，τ=E[m1(X)−m0(X)]，其中 mt(x):=E[Y|T=t,X=x]。

## 4. 因果工作负载与最大熵校准

图 1 给出了整个发布及推断过程的概览。

### 4.1 针对正交矩的工作负载

令 φ: X → R^p 为一个特征映射（例如，样条基、随机傅里叶特征、树形叶子、或 X 离散化的指示函数）。定义*矩向量*

q_t^{(0)}(D) := (1/n) ∑_{i=1}^n 1{T_i=t} φ(Xi) ∈ R^p,   (1)
q_t^{(1)}(D) := (1/n) ∑_{i=1}^n 1{T_i=t} Yi φ(Xi) ∈ R^p.   (2)

这里，q_t^{(0)} 记录了处理组的特征质量，q_t^{(1)} 记录了结果加权的特征矩。作为一个简单的箱体指示示例，q_t^{(1)} 的每个坐标是联合组-箱体质量乘以该箱体内的平均结果，质量按 1/n 缩放。这四个模块是实验流程中使用的私有测量。

二阶 Gram 矩对于某些直接回归插入法有用，但它们不是默认发布的一部分；附录 A 给出了特征编码示例和扩展。

###### 定义 1 (因果工作负载)

固定一个特征映射 φ。我们主要过程中使用的*因果工作负载* Q_φ 是一个有序的查询函数集合，其答案为 {q_0^{(0)}, q_1^{(0)}, q_0^{(1)}, q_1^{(1)}}。其堆叠答案为 q(D):= [q_0^{(0)}(D), q_1^{(0)}(D), q_0^{(1)}(D), q_1^{(1)}(D)] ∈ R^{4p}。

这里“工作负载”是指 DP 查询的集合，而 q(·) 表示实现的答案向量。这个基础的 4p 工作负载是我们实验中释放的内容。它是一个*原则性选择*，而非宣称的最优：它针对在 φ 基上投影的干扰函数的正交得分推断所使用的第一阶处理效应和结果矩（命题2，附录B），但不声称极小极大最优性、唯一性或下界。

![图 1](https://arxiv.org/html/2607.08122/x1.png)

图 1：端到端流程。数据持有者选择特征映射 φ，构建因果工作负载，并使用高斯机制发布带噪声的矩（仅一次）。下游分析是后处理：可以直接在稳定的矩映射估计量中使用带噪声的矩，或者通过 Private-PGM 重建最大熵分布，采样合成数据，并运行 NA+MI 推断。

### 4.2 工作负载的私有测量

令 W=(X,T,Y) 并令 m=4p 为上述定义的因果工作负载 q(D) 的维度。对于 a∈[m]，令 h_a(W_i) 表示记录 i 对坐标 a 的贡献，因此 q_a(D)=n^{-1} ∑_i h_a(W_i)；对于任何分布 P（作用于 W），q_a(P)=E_P[h_a(W)]。我们用 q(D) 表示在机密数据上的精确、未释放的经验答案；q^⋆=q(P^⋆) 表示真实数据生成律 P^⋆ 下的总体答案；我们用 q̃ 表示 DP 带噪声的发布。

固定因果机制一次性用高斯机制测量所有 m 个坐标：
q̃ = q(D) + Z,   Z ~ N(0, σ^2 I_m).

假设 Y 被裁剪到 [-B, B] 且 ‖φ(X)‖_2 ≤ φ_max。令 Δ_2 := sup_{D∼D'} ‖q(D)-q(D')‖_2 为替换邻接的 l_2 敏感度。则 Δ_2 ≤ (2 φ_max √(1+B^2))/n.

标准高斯机制 [dwork2014foundations] 使用 σ = (Δ_2 √(2 log(1.25/δ)))/ε.

对于自适应机制，同样的符号应用于测量的坐标。