反事实公平的图像分类器满足群体公平吗？——一项理论与实证研究

# 反事实公平图像分类器是否满足群体公平？——理论与实证研究

来源：https://arxiv.org/html/2607.06603

Sangwon Jung¹ Sumin Yu¹,¹  Sanghyuk Chun² Taesup Moon¹,²,²  
¹首尔大学电气与计算机工程系  
²NAVER AI实验室  
³ASRI/INMC/IPAI/AIIS，首尔大学  

###### 摘要

算法公平的概念已从多个维度得到积极探索，例如反事实公平（CF）和群体公平（GF）。然而，CF与GF之间的确切关系仍未明确，尤其在图像分类任务中；原因在于我们通常无法从现有图像中收集到评估CF所必需的反事实样本（例如，同一人物但具有不同第二性征的照片）。本文通过使用高质量的图像编辑方法并经由人工标注者仔细标注，构建了用于评估CF的新图像数据集。我们的数据集CelebA-CF和LFW-CF基于流行的图像GF基准构建；因此，我们可以同时评估CF和GF。我们实证观察到，在图像分类中CF并不蕴含GF，而此前基于表格数据的研究观察到相反结果。我们从理论上证明，这可能是由于存在一个与敏感属性相关但并非由敏感属性引起的潜在属性G（例如，第二性征与头发长度高度相关）。基于这一观察，我们提出一个简单基线方法——反事实知识蒸馏（CKD），用于减轻与敏感属性的此类相关性。在CelebA-CF和LFW-CF上的广泛实验结果表明，如果我们成功减少对G的依赖（例如使用CKD），则达成CF的模型能够满足GF。

## 1 引言

随着机器学习算法被部署在社会性计算机视觉应用中，如人脸识别[39]和求职面试[29]，人们日益担忧这些算法可能对某些个体和群体产生歧视。例如，人脸识别系统可能在不同人口统计群体间表现出不同的准确率[3]，而求职面试算法即使对同一面试者也可能基于受保护属性产生偏见[11]。因此，图像分类器中的算法公平性已在学术和工业研究界引起广泛关注。虽然在概念上显而易见，但要确定一个具体的公平概念却颇具挑战，由此提出了若干不同的公平概念。一个普遍的概念是反事实公平（CF）[23]，它寻求仅在敏感属性被干预时预测结果保持一致。另一个重要概念是群体公平（GF）[43]，旨在平等对待不同人口统计群体，防止某一群体相较于另一群体处于不公平劣势。许多研究人员专注于开发实现各概念的独立算法，而理解CF与GF之间的确切关系仍有待探索；例如，一些近期工作[1,35]表明，实现CF的模型仅在结构因果模型的特定条件下才能满足若干GF概念。此外，由于缺乏包含反事实图像的评估数据集（即仅改变敏感属性而保持其他非敏感属性不变——这在现实世界中几乎不可能收集到），此前关于CF与GF关系的研究未考虑图像分类场景。

已有若干工作使用生成模型生成反事实图像[5,19,26,32,44,34,4]，但它们仅关注将生成的反事实样本用于训练而非评估。此外，这些方法常常基于VAE[20]或GAN[9]生成低质量的反事实图像。一个值得注意的例外是Liang等人[24]的工作，他们提供了一个包含反事实图像的评估数据集。然而，他们的图像均为合成图像；因此，由于与现实世界图像存在分布偏移，仍不足以评估CF。

本文使用高性能扩散模型生成方法为图像分类任务构建了CF基准。我们的数据集基于用于评估GF的流行面部基准数据集CelebA和LFW，通过使用预训练的InstructPix2Pix（IP2P）[2]改变敏感属性来构建。随后，我们通过人工标注者仔细筛选编辑后的样本，并由另外的标注者验证我们数据集作为反事实样本的可靠性。请注意，我们的数据集CelebA-CF（CelebA-反事实人脸）和LFW-CF（LFW-反事实人脸）与原始GF基准共享相同的测试样本，从而能够同时评估GF和CF。

利用我们的数据集，我们对图像分类中CF与GF的关系进行了初步研究，例如，测试CF是否蕴含GF（对于图像分类器而言）。为此，我们训练了CF感知方法[36,7]，并使用我们的数据集从CF和GF两个指标进行评估。从结果中，我们观察到它们实现了CF但未能满足GF，这与此前发现CF可蕴含GF的研究[1,35]相反。我们将这种失败归因于图像生成的结构因果模型（SCM）。具体而言，对于图像SCM，更可能存在一个潜在属性G，该属性可能与敏感属性相关，但并非由敏感属性引起。例如，在敏感属性为图像中人物性别的情况下，胡须、发际线等第二性征与头发长度高度相关，但这并不意味着此类特征导致头发长度。在此场景中，如果一个实现CF的模型在其预测中依赖属性G（例如头发长度），在最坏情况下可能更严重地违反GF。因此，如果我们能够减少CF感知模型对G的依赖，或许可以同时实现CF和GF。实证发现，使用普通交叉熵损失训练的模型比使用CF感知方法训练的模型对G更具鲁棒性。受此启发，我们提出一个简单基线方法，称为反事实知识蒸馏（CKD），在原始CF感知优化过程中蒸馏出对G的鲁棒性。最后，我们在CelebA-CF和LFW-CF上的广泛实验表明，当减少对G的依赖时（例如使用CKD），实现CF的模型能够满足GF。

总结而言，我们的贡献有三方面。首先，我们构建了两个用于衡量CF的图像分类基准：CelebA-CF和LFW-CF。其次，使用这些数据集，我们观察到图像分类器中CF与GF之间的不一致性，并提供了理论依据：当存在一个与敏感属性相关的额外潜在属性时，反事实公平分类器未必能实现GF。最后，我们提出一个简单基线方法CKD，用于减少模型对此类潜在属性的敏感性，从而同时实现CF和GF。

## 2 构建高质量反事实图像

反事实公平（CF）的程度可以通过原始样本与其对应的反事实（CTF）样本之间的预测一致性来衡量。对于给定样本和敏感属性，CTF样本定义为敏感属性被改变，而所有其他非敏感属性保持不变的那个样本。然而，为图像获取CTF样本具有挑战性。例如，如果图像中人物的性别是敏感属性，获取CTF样本需要改变该人物的第二性征（如胡须、发际线），同时保持其身份和其他属性不变，这在实践中是不可能的。一种可能的替代方案是使用高质量的图像编辑方法，通过改变给定身份的第二性征来生成虚拟人脸。

此前一些方法[19,34,41,44,22]尝试使用VAE或GAN的编辑方法生成CTF图像。然而，它们面临图像质量低或非敏感属性被意外修改的问题，使其在评估CF方面不可靠。为解决这些问题，我们采用IP2P[2]，一种先进的基于扩散模型的图像编辑方法。值得注意的是，IP2P可以通过简单地调整文本指令来生成高质量的CTF样本，而无需任何模型重新训练。

作为第一步，我们编辑两个流行面部图像数据集CelebA[25]和LFW[13]的测试图像。我们选择图像中人物的“性别”作为敏感属性¹，并使用文本提示编辑面部图像中与性别相关的视觉特征。我们生成了720对CelebA CTF图像和632对LFW CTF图像，其中选择的图像在目标标签和敏感标签上均保持组间平衡。这里，我们分别将“金发”和“微笑”作为CelebA和LFW的目标标签。即，例如，CelebA CTF图像对具有平衡的组，如...等等。图1和A.1展示了生成的CTF图像与原始图像的示例。超参数设置见C.1节。请注意，尽管我们采用“性别”属性，但我们的生成过程与属性无关（例如，年龄或肤色也可以替代性别使用），如图A.2所示。

图1：CelebA-CF示例。展示了关于“性别属性”的反事实（CTF）图像。

**图像筛选**。尽管IP2P质量较高，仍可能生成低质量的CTF图像。为解决此问题，我们雇佣了五名人工标注者对图像进行筛选，即每个图像对被标注为“正确”或“不正确”。为确保客观精确的标注标准，我们制定了如下指南。首先，我们使用GPT-4o汇编了20个男性和女性视觉特征列表，并在公平性专家的指导下，选择了代表性别相关视觉特征的九个关键面部属性：面部毛发、喉结、皮肤纹理、下颌线、下巴形状、眉脊、颧骨突出度、嘴唇丰满度和发际线。这些属性用于建立评估正确CTF样本的标准。一个值得注意的问题是，CelebA和LFW数据集中大多数女性化图像包含妆容（例如，CelebA数据集中的许多女性明星似乎化了妆），而IP2P模型在改变女性化特征时偏向于去除妆容。为防止图像仅因妆容变化而被筛选掉，我们额外将妆容纳入关键属性集，尽管它并非性别特征。最后，基于这十个属性创建指南，为正确CTF样本提供一些标准，例如十个属性中某些属性的变化是否准确，以及其他面部特征是否与原始图像保持一致。使用这些指南，我们筛选掉获得两个或更少“正确”投票的图像对，分别得到230张（CelebA）和144张（LFW）图像。关于人工标注界面的更多细节见C.2节，新创建数据集的附加信息见C.4节。

表1：我们数据集可靠性的人工评估。显示了正确改变的敏感属性和良好保留的非敏感属性的准确率。

**可靠性检查**。我们通过另外五名人工标注者（与参与筛选过程的不同）进一步验证数据集的质量。这些标注者仅评估筛选后保留下来的图像，基于两个标准：（1）敏感属性是否正确改变；（2）其他非敏感属性是否得以保持。标注者评估了敏感属性“性别”以及三个非敏感属性“金发”、“灰发”和“微笑”；我们选择这三个属性是因为其他属性可能具有主观性（例如“大鼻子”）[40]或已被筛选掉（例如“戴帽子”）。提供给五名标注者的标注界面细节见C.2节。基于多数投票，我们计算满足两个标准中每一个的CTF样本百分比，即敏感和非敏感属性是否正确改变和保持的准确率。表1展示了CelebA-CF和LFW-CF的数值。非敏感准确率是三个非敏感属性的平均值。结果表明，我们的CTF样本几乎满足两个CTF标准，表明我们的数据集可以可靠地用于评估CF。

**伦理考量**。在我们的研究中，我们使用术语“性别（sex）”而非“性别（gender）”来表示具有生物特征的敏感属性，因为“gender”等术语可能暗示与社会身份的关联，可能引发一些伦理问题。我们还特意选择十个感知的面部属性作为面部图像中生物学性别的视觉特征。我们认为这些考量有助于减轻因二元划分性别（指社会身份）而产生的各种规范性伤害。然而，尽管我们做出了努力，与性别相关的视觉特征仍然复杂且相互交织，使得完全用二元标签表示具有挑战性。因此，