训练公平表格基础模型

# 训练公平的表格基础模型

来源：https://arxiv.org/html/2608.14211

Patrik Kenfack  
所属机构：蒙特利尔高等技术学院  
所属机构：Mila - 魁北克人工智能研究所  
电子邮箱：[[email protected]](mailto:)

Anthony L. Caterini  
所属机构：Layer 6 AI  
所属机构：加拿大多伦多  
电子邮箱：[[email protected]](mailto:)

Samira Ebrahimi Kahou  
所属机构：卡尔加里大学  
所属机构：Mila - 魁北克人工智能研究所，CIFAR  
电子邮箱：[[email protected]](mailto:)

Ulrich Aïvodji  
所属机构：蒙特利尔高等技术学院  
所属机构：Mila - 魁北克人工智能研究所  
电子邮箱：[[email protected]](mailto:)

###### 摘要

表格基础模型已成为表格预测任务的主流方法，利用上下文学习在新数据上进行预测，无需针对特定任务进行训练。尽管表格基础模型在高风险决策中的应用日益增多，但其公平性属性在很大程度上尚未被探索。在这项工作中，我们将公平性约束直接融入表格基础模型的训练中，使单次前向传播就能产生公平的预测。我们的方法解决了两个关键挑战：训练数据中对敏感属性的访问受限，以及现有公平性技术与上下文学习范式的不兼容性。我们提出了FairTFM，一种基于合成公平任务和使用梯度反转层的公平感知架构的可扩展训练策略，该架构鼓励模型学习对敏感属性不变的表示。在132个公平性任务上的实验表明，在保持有竞争力的准确性的同时，公平性得到了持续提升。

## 1 引言

表格数据以行列形式组织，是医疗和金融等领域决策任务的主要数据形态。虽然基于树的模型（如XGBoost）长期主导着表格学习，但表格基础模型已成为强有力的替代方案。这些模型通常在大规模表格数据集上进行预训练，并能通过上下文学习适应新任务，仅需少量标注示例。与传统方法不同，表格基础模型不需要针对特定任务的训练或超参数调优。值得注意的是，TabDPT、TabPFNv2和TabICLv2等模型在广泛的数据集上能够匹配或超越经过大量调优的基于树的模型。

即使表格基础模型被部署用于高风险决策，其公平性属性在很大程度上仍被忽视。近期研究表明，尽管预测性能强大，但表格基础模型可能表现出与传统模型类似的有偏结果。虽然公平感知训练在传统机器学习中已被广泛研究，但这些方法难以直接扩展到上下文学习范式，因为在此范式中预测必须在单次前向传播中产生，无需针对特定任务进行优化。这一差距要求专门为表格基础模型设计公平感知的训练方法。因此，在这项工作中，我们提出了一个将公平性与预测性能并列作为首要目标的训练框架。我们在明确的公平性约束下训练表格基础模型，使得通过上下文学习无需事后校正或针对特定任务的重新训练，就能直接产生公平的预测。据我们所知，所得模型是第一个在预训练阶段考虑统计群体公平性概念（如人口统计学对等和均等机会）的表格基础模型。

作为一个持续的例子，考虑一家银行使用表格基础模型预测客户的收入是否会超过50,000美元。反歧视法规禁止基于性别对客户造成不利影响，如果收入预测有偏，这可能在下游发生。由于现成的表格基础模型无需修改其权重即可进行预测，因此没有机会应用针对此任务的公平性约束。通过我们的方法，银行只需将性别标记为上下文集中的敏感属性，预训练模型就能在单次前向传播中产生更公平的预测。

我们的公平预训练方法依赖于两个关键组成部分。(i) 合成公平任务生成：给定一个数据集，我们随机指定一个输入特征作为敏感属性，将其视为类别型变量，并针对该属性优化公平性。在预训练期间对每个采样数据集重复此过程，能够实现跨多样化任务的可扩展公平感知训练。(ii) 公平感知架构与训练：我们通过一个专门的敏感属性编码器扩展基于Transformer的表格基础模型，并引入双头预测机制。除了标签预测头之外，我们还包含一个通过梯度反转层连接的敏感属性预测器，鼓励模型学习对敏感属性不变的表示。

我们在从ACS PUMS数据集派生的120个公平性任务（具有不同的敏感属性）以及基于六个广泛使用的公平性基准构建的12个额外任务上评估我们的方法，以测试泛化能力。我们使用人口统计学对等、均等机会和均等机会来衡量公平性，并与强大的基线进行比较。结果表明，所提出的FairTFM框架在保持有竞争力的预测性能的同时，持续改进了公平性指标，与最强的表格基础模型基线相比，公平性提高了32-75%，准确性损失仅为2-11%。

我们的贡献如下：
- • 我们提出了一种可扩展的策略，用于创建具有广泛敏感属性关系的公平性任务，该策略基于无需标注敏感属性的折断-组构建方法。
- • 我们设计了一种使用对抗学习的公平感知Transformer架构，能够在单次前向传播中进行公平预测，处理在不同任务中身份变化且在推理时被掩码的敏感属性。
- • 我们在多样化任务集上进行了广泛的实证评估，证明了公平性指标的改进同时保持了准确性，包括与公平感知基线的比较以及对学习表示的探测分析。

## 2 相关工作

**公平性**：先前关于公平机器学习的工作通常在三个阶段之一进行干预：预处理数据、在训练期间引入公平性约束或后处理模型输出。这些方法已在传统监督模型中被广泛研究，但它们通常假设能够访问训练流程或校准的模型输出。这一假设与上下文学习不太兼容，因为在上下文学习中，预训练模型在推理时被用作冻结的预测器。因此，我们的设置更接近于在预训练期间学习公平感知的表示，以便在单次前向传播中获得公平行为。虽然基于梯度反转的对抗公平性目标之前已在无监督领域适应中被研究过，但将这些目标整合到表格基础模型的预训练中引入了根本性的挑战，包括异质任务、跨采样任务中动态变化的敏感属性，以及无需针对特定任务优化的单次上下文推理要求。因此，我们的贡献不仅仅是使用对抗学习来实现公平，而是引入了一个可扩展的公平感知预训练框架用于表格基础模型，该框架能够在保持上下文学习推理特性的同时，在未见过的下游任务中实现更公平的预测。

**表格基础模型**：最近的表格基础模型，如TabPFN、TabDPT和TabICL，证明了预训练Transformer在表格预测任务上可以具有很强的竞争力。然而，该文献侧重于预测准确性，并未直接解决可能出现有偏结果的问题。FairPFN确实在公平性的因果概念下将公平性纳入表格基础模型的预训练，这与我们针对统计群体公平性概念（如人口统计学对等、均等机会和均等机会）的工作形成对比。统计公平性是数据驱动的，侧重于分布公平性（基于结果），而因果公平性更具干预性，不一定确保群体间的结果均等。我们的工作直接关注优化表格分类基准中常用的统计公平性概念。我们在实验中包含了FairPFN作为基线，发现其因果目标确实产生了部分群体公平性收益，但代价是预测性能，使其在帕累托意义上被FairTFM支配，并且没有任何机制来控制公平性-效用权衡。我们在附录A中提供了这些联系的更详细讨论。

## 3 训练公平的表格基础模型

在本节中，我们介绍我们用于统计公平性的公平感知表格基础模型。我们描述如何从通用数据先验中合成公平任务，介绍模型架构，并指定预训练目标。参考说明 (a) 从先验中采样公平任务。(b) FairTFM架构概览。

图1：(a) 我们通过先验数据生成器构建公平任务，首先采样一个数据集$(X',y)$，然后随机移除一个特征作为敏感属性$s$并将其转换为类别变量，得到三元组$(X,y,s)$。所得数据被分割为用于上下文学习的上下文集$(X_{\text{ctx}},y_{\text{ctx}},s_{\text{ctx}})$和查询集$(X_{\text{qy}},y_{\text{qy}},s_{\text{qy}})$。(b) FairTFM使用Transformer联合处理上下文和查询输入。除了用于目标标签$\hat{y}_{\text{qy}}$的主要预测头之外，第二个头预测敏感属性$\hat{s}_{\text{qy}}$。敏感分支上的梯度反转层（红色箭头）鼓励模型学习对$s$不变的表示，从而在保持预测性能的同时减少对敏感相关特征的依赖。

### 3.1 从数据集先验中采样公平任务

大多数表格基础模型都是在从数据集先验（无论是合成的还是代表真实数据集）中采样的任务上进行预训练，以便让模型接触到广泛的监督学习问题分布。我们遵循同样的原则，但对其进行扩展，以自监督的方式生成*公平任务*，捕捉多样化的群体依赖偏差形式。类似的过程曾用于TabDPT从现实世界数据集中构建多样化的预测任务，以及CausalPFN生成合成的因果推断任务。

具体而言，从一个采样的数据集开始，我们随机指定一个输入特征作为敏感属性，并将其从特征集中移除，如图1(a)所示。当选定的特征是连续型时，我们使用“折断”离散化方案将其转换为类别属性。我们首先从Beta分布中采样一系列比例，并使用狄利克雷过程通过这些比例构建混合权重，其中每个分量代表剩余质量的一部分。然后，这些权重被映射到归一化特征的经验分位数，产生数据依赖的分割点，将特征划分为离散组。此过程产生灵活、非均匀的分箱，适应底层特征分布，同时保留概率解释。在持续示例中，银行的数据集对应于一个需要公平性考虑的预测任务，其中性别扮演指定敏感属性的角色。在预训练期间，数据集中的任何特征在某些采样任务中都可以扮演敏感属性的角色，而在其他任务中则是普通的预测特征。

### 3.2 网络架构

我们基于TabPFN用于表格数据的Transformer编码器构建，使用nanoTabPFN架构作为轻量级骨干，其输入预处理较少，从而在我们受控的实验中减轻混淆效应。在此架构中，每个输入对$(X_i, y_i)$被表示为$d$维令牌序列，并通过交替进行行和列的自注意力来处理，从而实现沿两个轴的上下文学习。在预训练期间，可用的输入数据被划分为上下文集$(X_{\text{ctx}}, y_{\text{ctx}})$和查询集$(X_{\text{qy}}, y_{\text{qy}})$。与TabPFN一样，查询标签$y_{\text{qy}}$被掩码，相应的输出令牌通过多层感知机映射到类别对数。在推理时，可用的标注数据（即非基础预测模型的训练数据）作为上下文提供，表格基础模型在未标注的查询数据上预测$y_{\text{qy}}$。

我们的公平感知扩展，我们称之为公平表格基础模型，如图1(b)所示。FairTFM不只处理对$(x_i, y_i)$，而是处理三元组$(x_i, y_i, s_i)$，其中$s_i$表示敏感属性的$d$维令牌。FairTFM包含一个学习表示的共享Transformer骨干，以及两个用于目标标签$\hat{y}_{\text{qy}}$和敏感属性$\hat{s}_{\text{qy}}$的预测MLP头。由于所选的注意力机制不使用列位置编码，预测对输入列的排序是不变的。因此，当特征在预训练期间被随机指定为敏感属性时，其在表格中的索引不会影响预测。

为了阻止学习到的表示编码敏感信息，预测$\hat{s}_{\text{qy}}$的辅助预测头之前连接了一个梯度反转层。该头本身被训练以最小化$s_{\text{qy}}$的预测误差，自然会利用Transformer表示中编码的任何关于$s$的信息。然而，GRL...