使用概念图在T2I扩散模型中的高效偏见缓解

# 使用概念图高效缓解 T2I 扩散模型中的偏差
来源：https://arxiv.org/html/2607.03397
Mansi 计算系 帝国理工学院 London m\.\-24@imperial\.ac\.uk &Avinash Kori 计算系 帝国理工学院 London a\.kori21@imperial\.ac\.uk &Francesco Leofante 计算系 帝国理工学院 London f\.leofante@imperial\.ac\.uk

###### 摘要

文本到图像扩散模型常常会传播从训练数据中继承的有害偏差。现有的偏差缓解技术通常只干预文本编码器或提供推理时引导，往往导致生成内容坍缩为*语义不连贯的输出*。为解决这些局限，我们提出**CO-ALIGN**（概念本体对齐），一种新颖的基于概念图对齐的偏差缓解方法，该方法作用于模型的*内部概念本体*。通过在文本编码器和去噪器中对齐概念，CO-ALIGN 在保持生成完整性的同时，实现了显著的偏差减少。我们展示了概念图对齐在三种范式下的有效性：文本编码器、去噪器以及联合文本-去噪器本体对齐。CO-ALIGN 优于现有最先进方法，将公平性提高 **30%**，图像质量 **ΔFID=11.4**，图像保真度提高 **2.8%**，同时将语义不连贯输出减少 **88%**。除了偏差缓解，我们还表明 CO-ALIGN 也有利于其他下游任务。特别是，我们的实验表明，更好的内部本体对齐能增强多种遗忘技术对概念遗忘的鲁棒性。

## 1 引言

文本到图像（T2I）扩散模型已经取得了卓越的生成能力，然而它们系统性地再现并放大了训练语料中存在的群体偏见（Schuhmann 等人，2022b (https://arxiv.org/html/2607.03397#bib.bib1)；Bianchi 等人，2023 (https://arxiv.org/html/2607.03397#bib.bib2)）。这些偏见不仅仅是表面的风格伪影，而是模型所学概念关联的结构性属性。一旦嵌入权重中，它们就会在每次生成中一致地复现。为了解决这个问题，当前的偏差缓解方法在以下两个层次之一进行干预：*文本编码器*，通过文本嵌入微调（Shen 等人，2024 (https://arxiv.org/html/2607.03397#bib.bib23)）或推理时引导（Friedrich 等人，2023 (https://arxiv.org/html/2607.03397#bib.bib9)；Chuang 等人，2023 (https://arxiv.org/html/2607.03397#bib.bib11)）；或者*去噪器*，通过交叉注意力权重编辑（Orgad 等人，2023 (https://arxiv.org/html/2607.03397#bib.bib13)；Gandikota 等人，2024 (https://arxiv.org/html/2607.03397#bib.bib14)）或潜在空间操控（Parihar 等人，2024 (https://arxiv.org/html/2607.03397#bib.bib16)；Li 等人，2024 (https://arxiv.org/html/2607.03397#bib.bib17)；Shi 等人，2025 (https://arxiv.org/html/2607.03397#bib.bib19)）。这两种范式都共享一个常见且重要的假设：即文本编码器和去噪器可以被视为*独立*的修正目标，并且修复其中一个就足以修正生成输出。

现有方法的问题。去噪器通常适应给定的文本编码器，或者在全端到端训练的情况下，文本编码器和去噪器被联合更新，而没有明确的*解缠*保证：去噪器的交叉注意力头学习预期由原始文本编码器产生的*特定有偏嵌入几何结构*，并且它们已围绕产生有偏视觉输出来组织内部概念表示。当仅编辑文本编码器时，去噪器接收到一个分布外的条件信号，它通常无法连贯地解释，导致生成*语义不连贯*的内容，既未描绘目标概念，也未描绘任何有意义的内容。相反，当仅编辑去噪器时，文本编码器继续将未明确说明的提示（例如，“a nurse”，其中未提及性别）路由到有偏的属性嵌入，部分抵消了去噪器端的校正。

图 1：现有的仅干预文本编码器（左）或去噪器（中）的偏差缓解方法，对于提示“Nurse”，会产生语义不连贯的输出或性别有偏的生成。CO-ALIGN（右）将两个组件的概念图联合对齐到目标拓扑，恢复了连贯性和人口统计平衡。CG 代表概念图。

我们的方法。我们提出通过直接对齐模型的*内部概念本体*来缓解这一问题。我们提出 **CO-ALIGN**（概念本体对齐），一个提取并编辑分布于文本编码器嵌入空间和去噪器交叉注意力层中的结构化*概念*表示关系图的框架。CO-ALIGN 的关键洞察是，偏差不是单个概念表示的属性，而是*它们之间关系*的属性。在原始模型中，有偏概念与其刻板关联属性所共享的神经基质比例，不成比例地高于与其反刻板关联属性所共享的比例，例如`护士`主要被归因为`女护士`而非`男护士`。这种不对称性可以通过提取的概念图中不对称的边权重观察到。CO-ALIGN 通过将概念图对齐到一个*目标拓扑*来解决这个问题，使代表性不足的概念关联更接近目标概念，同时应用于文本编码器和去噪器中，从而在最终生成中恢复平衡的表示。正如我们的实验所示，这种联合编辑能够对齐文本编码器和去噪器中的几何表示，从而产生忠实且无偏的生成。

CO-ALIGN 中的涌现特性。除了我们的主要去偏目标之外，我们发现通过 CO-ALIGN 对齐概念图会导致*语义邻域传播*，即*对齐一个概念会带动其语义邻域一起对齐*。这种效果类似于基于图的半监督学习中的标签传播（Zhou 等人，2003 (https://arxiv.org/html/2607.03397#bib.bib43)；Zhu 等人，2003 (https://arxiv.org/html/2607.03397#bib.bib44)；Iscen 等人，2019 (https://arxiv.org/html/2607.03397#bib.bib45)），其中对少量标记节点的监督通过图平滑性假设传播到相邻的未标记节点（Belkin 等人，2006 (https://arxiv.org/html/2607.03397#bib.bib46)）。我们利用这一特性，结合遗忘技术中概念擦除的局部性（Bui 等人，2025 (https://arxiv.org/html/2607.03397#bib.bib42)），用于第二个下游应用：鲁棒遗忘。通过在应用任何遗忘技术之前，将一小部分对抗性旁路概念对齐到遗忘目标，CO-ALIGN 显著提高了事后遗忘技术对抗对抗性提示的鲁棒性。

贡献总结。我们的主要贡献可总结如下。❶ 我们表明，目前的单组件去偏技术以生成不一致性和残留偏差为代价来换取偏差减少。❷ 受此分析启发，我们提出了 CO-ALIGN，一个从文本编码器和去噪器中提取概念级图，并将其联合对齐到两个组件间目标拓扑的偏差缓解框架。❸ 我们证明 CO-ALIGN 在生成类别平衡且连贯的输出方面优于现有的最先进去偏技术，同时保持输出的生成质量。❹ 我们经验性地刻画了一种邻域传播效应，并利用它通过 CO-ALIGN 显著提高了现有遗忘技术的对抗鲁棒性。

## 2 T2I 扩散模型中的固有偏差

数据集偏差及其影响。与其他生成模型类似，T2I 扩散模型中的偏差通常源于用于训练的大规模网络爬取语料库。用于训练 Stable Diffusion 的 LAION-5B（Schuhmann 等人，2022b (https://arxiv.org/html/2607.03397#bib.bib1)）反映了互联网规模上的社会不平等，涉及职业（Bianchi 等人，2023 (https://arxiv.org/html/2607.03397#bib.bib2)）、种族（Cho 等人，2023 (https://arxiv.org/html/2607.03397#bib.bib3)；Luccioni 等人，2023 (https://arxiv.org/html/2607.03397#bib.bib33)）和文化（Naik 和 Nushi，2023 (https://arxiv.org/html/2607.03397#bib.bib4)）。这些偏差已被证明在模型训练（Seshadri 等人，2024 (https://arxiv.org/html/2607.03397#bib.bib5)；Perera 和 Patel, 2023a (https://arxiv.org/html/2607.03397#bib.bib6)）和推理（Roos 等人，2026 (https://arxiv.org/html/2607.03397#bib.bib8)）过程中被*放大*至超出训练数据中存在的程度。这些模型在人工操作和自动化系统中的大规模部署已显示出强化刻板印象（Bianchi 等人，2023 (https://arxiv.org/html/2607.03397#bib.bib2)）的有害社会后果，同时涉及性别、年龄、种族和地理（Naik 和 Nushi，2023 (https://arxiv.org/html/2607.03397#bib.bib4)）。

偏差缓解技术。现有的去偏技术大致可分为两类，取决于它们在生成流程中的干预位置，如表 1 (https://arxiv.org/html/2607.03397#S2.T1) 所总结。

文本编码器去偏方法仅干预文本编码器。Shen 等人（Shen 等人，2024 (https://arxiv.org/html/2607.03397#bib.bib23)）使用生成图像上的分布对齐损失直接微调文本编码器。Fair Mapping（Li 等人，2025 (https://arxiv.org/html/2607.03397#bib.bib40)）学习一个轻量级的线性重映射，作用于条件嵌入，将其投影到去偏子空间。Chuang 等人（Chuang 等人，2023 (https://arxiv.org/html/2607.03397#bib.bib11)）以训练无关的方式实现类似效果，通过一个校准的投影矩阵在推理时从文本嵌入中移除有偏方向。Fair Diffusion（Friedrich 等人，2023 (https://arxiv.org/html/2607.03397#bib.bib9)）通过 SEGA（Brack 等人，2023 (https://arxiv.org/html/2607.03397#bib.bib10)）、FairGen（Kang 等人，2025 (https://arxiv.org/html/2607.03397#bib.bib39)）以及 Kim 等人（Kim 等人，2025 (https://arxiv.org/html/2607.03397#bib.bib12)）采用更温和的方法，在推理时引导条件信号或噪声初始化，无需任何权重修改。尽管高效，但所有仅文本编码器的方法都未触及去噪器内部的概念组织和视觉偏差。

去噪器去偏方法针对去噪器的内部表示。TIME（Orgad 等人，2023 (https://arxiv.org/html/2607.03397#bib.bib13)）和 UCE（Gandikota 等人，2024 (https://arxiv.org/html/2607.03397#bib.bib14)）以封闭形式编辑交叉注意力键值投影，以将未明确说明的提示重新路由到目标属性嵌入。Asyrp（Kwon 等人，2023a (https://arxiv.org/html/2607.03397#bib.bib15)）确立了 UNet 瓶颈（h 空间）作为可控制编辑的语义线性空间；在此基础上，Balancing Act（Parihar 等人，2024 (https://arxiv.org/html/2607.03397#bib.bib16)）在 h 空间特征上训练轻量级预测器，Li 等人（Li 等人，2024 (https://arxiv.org/html/2607.03397#bib.bib17)）发现无需外部分类器的公平敏感方向，Vardhana 等人（Vardhana 等人，2026 (https://arxiv.org/html/2607.03397#bib.bib18)）以无监督方式引导去噪过程趋向均匀的属性分布，SCALEX（Zeng 等人，2026 (https://arxiv.org/html/2607.03397#bib.bib22)）通过提示对齐的潜在方向映射概念结构。DIFFLENS（Shi 等人，2025 (https://arxiv.org/html/2607.03397#bib.bib19)）采用机械论方法，使用稀疏自编码器识别并抑制负责偏差的神经元级维度；BiasMap（Chakraborty 等人，2025 (https://arxiv.org/html/2607.03397#bib.bib20)）、EFA（Park 等人，2025 (https://arxiv.org/html/2607.03397#bib.bib37)）和 Yasser 等人（Yasser 等人，2026 (https://arxiv.org/html/2607.03397#bib.bib21)）进一步揭示，许多此类修正减少了分布差异，但并未解缠底层的概念耦合。MAS（Zhou 等人，2024 (https://arxiv.org/html/2607.03397#bib.bib38)）解决了由多概念共同生成引起的关联性刻板印象问题。虽然这些方法编辑了去噪器，但它们独立于文本编码器应用，因此未更正未明确说明提示的有偏嵌入几何结构。

表 1：偏差缓解方法在六个维度上的结构化比较，涵盖训练动态（列 [1–3]）、编辑区域（列 [4–5]）和可扩展性（列 [6]）。CO-ALIGN 同时编辑文本编码器和去噪器，支持多概念联合编辑，且不增加推理成本。
| 方法 | 权重修改 [1] | 训练无关 [2] | 推理成本 [3] | 文本编码器编辑 [4] | 去噪器编辑 [5] | 多概念 [6] |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| Fair Diffusion (Friedrich 等人, 2023 (https://arxiv.org/html/2607.03397#bib.bib9)) | ✗ | ✓ | ✓ | ✗ | ✗ | ✗ |
| Debiasing VLMs (Chuang 等人, 2023 (https://arxiv.org/html/2607.03397#bib.bib11)) | ✗ | ✓ | ✓ | ✓ | ✗ | ✗ |
| FairGen (Kang 等人, 2025 (https://arxiv.org/html/2607.03397#bib.bib39)) | ✗ | ✓ | ✓ | ✗ | ✗ | ✗ |
| Kim et al. (Kim 等人, 2025 (https://arxiv.org/html/2607.03397#bib.bib12)) | ✗ | ✓ | ✓ | ✗ | ✗ | ✗ |
| EFA (Park 等人, 2025 (https://arxiv.org/html/2607.03397#bib.bib37)) | ✗ | ✓ | ✓ | ✗ | ✓ | ✗ |
| H-Distribution (Parihar 等人, 2024 (https://arxiv.org/html/2607.03397#bib.bib16)) | ✗ | ✓ | ✓ | ✗ | ✓ | ✗ |
| Latent Direction (Li 等人, 2024 (https://arxiv.org/html/2607.03397#bib.bib17)) | ✗ | ✓ | ✓ | ✗ | ✓ | ✗ |
| SelfDebias (Vardhana 等人, 2026 (https://arxiv.org/html/2607.03397#bib.bib18)) | ✗ | ✓ | ✓ | ✗ | ✓ | ✗ |
| SCALEX (Zeng 等人, 2026 (https://arxiv.org/html/2607.03397#bib.bib22)) | ✗ | ✓ | ✓ | ✗ | ✓ | ✗ |
| DiffLens (Shi 等人, 2025 (https://arxiv.org/html/2607.03397#bib.bib19)) | ✗ | ✓ | ✓ | ✗ | ✓ | ✓ |
| BiasMap (Chakraborty 等人, 2025 (https://arxiv.org/html/2607.03397#bib.bib20)) | ✗ | ✓ | ✓ | ✗ | ✓ | ✗ |
| Asyrp (Kwon 等人, 2023a (https://arxiv.org/html/2607.03397#bib.bib15)) | ✗ | ✓ | ✓ | ✗ | ✓ | ✗ |
| Fair Mapping (Li 等人, 2025 (https://arxiv.org/html/2607.03397#bib.bib40)) | ✓ | ✗ | ✗ | ✓ | ✗ | ✗ |
| TIME (Orgad 等人, 2023 (https://arxiv.org/html/2607.03397#bib.bib13)) | ✓ | ✓ | ✗ | ✗ | ✓ | ✗ |
| UCE (Gandikota 等人, 2024 (https://arxiv.org/html/2607.03397#bib.bib14)) | ✓ | ✓ | ✗ | ✗ | ✓ | ✓ |
| Finetuning (Shen 等人, 2024 (https://arxiv.org/html/2607.03397#bib.bib23)) | ✓ | ✗ | ✗ | ✓ | ✗ | ✗ |
| MAS (Zhou 等人, 2024 (https://arxiv.org/html/2607.03397#bib.bib38)) | ✓ | ✗ | ✗ | ✓ | ✗ | ✓ |
| **CO-ALIGN (Ours)** | ✓ | ✗ | ✗ | ✓ | ✓ | ✓ |

## 3 理解偏差

如第 A 节 (https://arxiv.org/html/2607.03397#A1) 所述，偏差行为的主要根源在于训练数据集中固有的偏差。图 6 (https://arxiv.org/html/2607.03397#A1.F6)（附录中）展示了用于训练 Stable Diffusion 1.5 的 LAION 2B 数据集（Schuhmann 等人，2022a (https://arxiv.org/html/2607.03397#bib.bib53)）（使用 FairFace 分类器（Kärkkäinen 和 Joo，2021 (https://arxiv.org/html/2607.03397#bib.bib52)））中各职业在性别、种族和年龄上的分布偏差。由于逆向扩散过程倾向于向主导模式导航（Seshadri 等人，2024 (https://arxiv.org/html/2607.03397#bib.bib5)；Perera 和 Patel，2023a (https://arxiv.org/html/2607.03397#bib.bib6),b (https://arxiv.org/html/2607.03397#bib.bib54)），这种偏差在训练阶段被模型放大，从而导致有偏内容的生成。

图 2：(a) 文本编码器对概念 `Nurse`、`Female Nurse` 和 `Male Nurse` 的嵌入之间的余弦相似度；(b) 比较五种去偏方法和基线模型的类别不平衡百分比（x 轴：越低越好）与不连贯率（y 轴：无法被分类为目标的生成比例，越低越好）的图表。