当去偏见适得其反:基于预处理的刻板印象缓解方法中反直觉的副作用
摘要
本文研究了NLP中基于预处理的刻板印象缓解方法,发现虽然它们减少了针对特定群体的刻板印象,但可能无意中增加其他人口群体(包括不相关类别)的刻板印象或反刻板印象。作者跨模型系列和预处理策略展示了这些副作用,并讨论了对评估和缓解实践的影响。
arXiv:2607.07937v1 Announce Type: new
摘要:基于预处理的刻板印象缓解方法,例如在去偏语料库上进行训练前/后处理,在NLP中被广泛使用。虽然这些方法减少了针对目标群体的可测量刻板印象,但我们发现它们常常引发意外的转变——副作用,即相对于中性基线,其他人口群体(包括不相关的人口类别)的刻板印象或反刻板印象可能增加。我们跨两个模型系列(仅编码器和仅解码器)、多种预处理策略(移除刻板印象句子、移除群体提及、交换群体引用)以及在维基百科上不同数据规模的训练前和训练后展示了这些副作用。标准基准测试常常遗漏这些变化。通过注意力展开分析,我们观察到此类副作用并未伴随注意力流的大幅变化,这使得机制解释更加复杂。我们讨论了对评估的影响,提供可操作的诊断方法,并主张采用考虑副作用、透明化的缓解实践。
查看缓存全文
缓存时间: 2026/07/10 06:11
# 当去偏招致反效果:基于预处理的刻板印象缓解的违反直觉的副作用 来源:https://arxiv.org/html/2607.07937 John J. Guerrerio 达特茅斯学院 [email protected] Soroush Vosoughi 达特茅斯学院 [email protected] Weicheng Ma 奥克兰大学 [email protected] ###### 摘要 基于预处理的刻板印象缓解方法,例如在去偏语料库上进行预训练/后训练,被广泛用于自然语言处理。虽然这些方法能降低目标群体的可测量刻板印象,但我们发现它们经常引发非预期偏移——*副作用*,即对其他人口群体(包括跨不相关的人口类别)的刻板印象或反刻板印象相对于中性基线可能*增加*。我们展示了这些副作用在两个模型族(仅编码器和仅解码器)、多种预处理策略(移除刻板印象句子、移除群体提及、交换群体引用),以及在维基百科上不同数据规模的预训练和后训练中的表现。标准基准测试经常遗漏这些偏移。通过注意力展开分析,我们观察到此类副作用并不伴随注意力流的巨大变化,这使得机制解释变得复杂。我们讨论了对评估的启示,提供了可操作的诊断方法,并主张采用对副作用敏感、透明的缓解实践。 # 当去偏招致反效果:基于预处理的刻板印象缓解的违反直觉的副作用 Yahan Zheng 达特茅斯学院 [email protected] John J. Guerrerio 达特茅斯学院 [email protected] Soroush Vosoughi 达特茅斯学院 [email protected] Weicheng Ma 奥克兰大学 [email protected] ## 1 引言 预训练语言模型(PLM)会编码并传播社会刻板印象(Bolukbasi 等,2016 (https://arxiv.org/html/2607.07937#bib.bib2);Caliskan 等,2017 (https://arxiv.org/html/2607.07937#bib.bib1);Zhao 等,2019 (https://arxiv.org/html/2607.07937#bib.bib3)),引发对其安全可靠部署的担忧。在缓解策略中,*预处理*基于预的方法旨在修改训练数据,例如移除或改变刻板印象内容,因为它们易于应用且不增加推理成本(Gallegos 等,2024 (https://arxiv.org/html/2607.07937#bib.bib10))。直观上,此类干预应能通过使模型与刻板印象模式隔离,从而假设性地防止模型习得不想要的关联。为保持一致,我们使用术语*刻板印象*指代语言模型从其训练数据中编码的任何不想要的社会偏见,*缓解*或*去偏*指代旨在减少这些编码刻板印象的干预措施。 尽管基于预处理的方法具有直观吸引力且部分有效,但迄今为止,尚未有 PLM 完全摆脱刻板印象,这引发了对其真正功效的质疑。更重要的是,尚不清楚数据层面的缓解是*消除了*有害关联,还是仅仅*重新分配*了它们。 我们通过实验重新审视这个问题:整理针对跨越三个类别(性别、种族、宗教)的六个人口群体的去偏维基百科语料库。我们使用这些语料库对两个 PLM(仅编码器 TinyBERT (Jiao 等,2020 (https://arxiv.org/html/2607.07937#bib.bib32)) 和仅解码器 GPT-2 (Radford 等,2019 (https://arxiv.org/html/2607.07937#bib.bib33)))进行预训练和后训练,然后测量对*所有*群体的刻板印象表达的变化。我们报告三个发现: 1. 1. 类别内和跨类别的非预期偏移。虽然对*目标*群体的刻板印象减少了,但我们经常观察到对*其他*群体(包括跨偏见类别)的刻板印象或反刻板印象增加。我们将这种现象定义为副作用:缓解方法降低了对目标群体的刻板印象测量,但同时对一个或多个非目标群体引入了不良变化。值得注意的是,这些偏移往往不对称且难以预测。我们在 StereoSet 和 CrowS-Pairs (Nadeem 等,2021 (https://arxiv.org/html/2607.07937#bib.bib6);Nangia 等,2020 (https://arxiv.org/html/2607.07937#bib.bib4)) 上量化了趋势。这些模式不能仅由刻板印象/反刻板印象训练示例分布的变化来解释。 2. 2. 跨设置的鲁棒性。副作用出现在三种预处理策略(移除刻板印象句子、移除群体提及、交换引用)中,在预训练和后训练期间,*以及跨训练数据规模*,对于仅编码器(TinyBERT)和仅解码器(GPT-2)模型均成立。一个更大的仅解码器模型在单一后训练切片上表现出相同的定性现象。 3. 3. 机制仍难以捉摸。注意力展开分析 (Abnar and Zuidema, 2020 (https://arxiv.org/html/2607.07937#bib.bib34)) 显示,即使刻板印象分数发生变化,注意力归属的偏移也很小,这表明单独注意力路由不能解释该效应,促使进行分布和因果方面的后续研究。 总体而言,我们的结果凸显了基于预处理的缓解方法的可靠性差距:帮助目标群体的干预措施可能不可预测地伤害其他群体。这些意外后果在多种实验条件下持续存在,包括多种预处理策略、缩减的训练数据规模和不同的 PLM 架构。此外,标准评估基准通常未能揭示这些副作用,并且检查模型内部注意力模式在很大程度上无法检测到它们。综合起来,这*对单独使用数据层面去偏的可靠性和安全性提出了质疑*。我们建议报告副作用感知的诊断方法(见第4节 (https://arxiv.org/html/2607.07937#S4)–5节 (https://arxiv.org/html/2607.07937#S5)),并强调迫切需要*更鲁棒、可解释和可控*的缓解方法,以减少语言模型中的社会偏见。本文代码已公开发布于 https://github.com/InDaCS-Lab/Stereotype-Mitigation-Side-Effects。 ## 2 背景 刻板印象编码和缓解已在计算语言学中被广泛研究。早期工作如 Bolukbasi 等 (2016 (https://arxiv.org/html/2607.07937#bib.bib2)) 证明了在 Google News 语料上训练的 Word2Vec 嵌入中存在性别偏见。不久之后,Caliskan 等 (2017 (https://arxiv.org/html/2607.07937#bib.bib1)) 表明 GloVe 嵌入同样继承了类似人类的偏见。类似研究证明这些偏见扩展到上下文模型:Zhao 等 (2019 (https://arxiv.org/html/2607.07937#bib.bib3)) 量化和缓解了 ELMo 上下文词向量中的性别偏见。随着更大、更不可解释的基于 Transformer 的模型如 BERT、GPT-2 和 RoBERTa 占据主导,社区转向使用专门的刻板印象评估数据集,如 StereoSet (Nadeem 等,2021 (https://arxiv.org/html/2607.07937#bib.bib6))、WinoGender (Zhao 等,2018 (https://arxiv.org/html/2607.07937#bib.bib5)) 和 CrowS-Pairs (Nangia 等,2020 (https://arxiv.org/html/2607.07937#bib.bib4)),来对常用语言模型中的偏见进行基准测试。例如,Nadeem 等 (2021 (https://arxiv.org/html/2607.07937#bib.bib6)) 通过实验证明了 BERT 和 GPT-2 具有刻板印象倾向,这一发现被 Nangia 等 (2020 (https://arxiv.org/html/2607.07937#bib.bib4)) 对 BERT 的验证所支持。随着大型语言模型(LLM)的兴起,基于提示的基准测试如 Esiobu 等 (2023 (https://arxiv.org/html/2607.07937#bib.bib7))、Dhamala 等 (2021 (https://arxiv.org/html/2607.07937#bib.bib8)) 和 Akyürek 等 (2022 (https://arxiv.org/html/2607.07937#bib.bib9)) 已被用于检查现代模型中的偏见。 编码刻板印象的现象促使了针对性缓解策略的创建。根据 Gallegos 等 (2024 (https://arxiv.org/html/2607.07937#bib.bib10)) 的定义,这些缓解方法可分为四大类。 **预处理缓解** 涉及对训练数据的修改,以防止模型学习刻板印象。基于预处理的刻板印象缓解的一种常见形式是数据增强。Lu 等 (2020 (https://arxiv.org/html/2607.07937#bib.bib23)) 首先将这种方法形式化,通过创建语义不变且性别词语互换(例如,“他”换成“她”)的句子对来缓解性别偏见。Ghanbarzadeh 等 (2023 (https://arxiv.org/html/2607.07937#bib.bib24)) 扩展了这种方法,通过掩码性别词语并使用语言模型预测替换词。另一种基于预处理的刻板印象缓解方法是数据集过滤,其重点在于识别要强调或排除的示例。Garimella 等 (2022 (https://arxiv.org/html/2607.07937#bib.bib26)) 和 Borchers 等 (2022 (https://arxiv.org/html/2607.07937#bib.bib27)) 识别出代表性不足或低偏见的示例,以便在后训练中重点处理。Raffel 等 (2020 (https://arxiv.org/html/2607.07937#bib.bib28)) 使用词表过滤偏见示例,Ngo 等 (2021 (https://arxiv.org/html/2607.07937#bib.bib29)) 和 Sattigeri 等 (2022 (https://arxiv.org/html/2607.07937#bib.bib30)) 通过更先进的过滤技术改进了该方法。Panda 等 (2022 (https://arxiv.org/html/2607.07937#bib.bib31)) 识别出人口标识词并在后训练前将其移除。值得注意的是,数据增强和数据过滤可以结合使用;Zayed 等 (2023 (https://arxiv.org/html/2607.07937#bib.bib25)) 为对公平性贡献最大的数据生成反事实示例,并过滤掉其他刻板印象示例。 **训练中缓解** 涉及对训练过程或额外后训练步骤的修改。例如,Guo 等 (2022 (https://arxiv.org/html/2607.07937#bib.bib21))、Yang 等 (2023 (https://arxiv.org/html/2607.07937#bib.bib19)) 和 Gaci 等 (2022 (https://arxiv.org/html/2607.07937#bib.bib20)) 引入了新的损失函数来缓解模型可能学到的偏见。Gira 等 (2022 (https://arxiv.org/html/2607.07937#bib.bib18)) 在 WinoBias 和 CrowS-Pairs 数据集上微调了非常小一部分模型参数。Ouyang 等 (2022 (https://arxiv.org/html/2607.07937#bib.bib22)) 采用基于强化学习的后训练方法,结合人类反馈,使 LLM 更好地与人类价值观对齐。 **推理中缓解** 涉及对模型推理行为的修改。诸如 Ma 等 (2023 (https://arxiv.org/html/2607.07937#bib.bib14)) 和 Zhou 等 (2024 (https://arxiv.org/html/2607.07937#bib.bib13)) 的工作识别出有偏见的模型组件(例如,注意力头),并在推理时禁用它们。Tong 等 (2024 (https://arxiv.org/html/2607.07937#bib.bib15)) 使用较小的刻板印象和反刻板印象专家模型,在推理时重新平衡下一 token 概率,使其远离刻板印象 token、靠近反刻板印象 token。类似地,Liu 等 (2023 (https://arxiv.org/html/2607.07937#bib.bib16)) 学习在推理时可调的小型偏导向量,以将模型 logits 移离有害 token。最后,Saunders 等 (2022 (https://arxiv.org/html/2607.07937#bib.bib17)) 在推理时使用束搜索来寻找更多样的模型输出。 **后处理缓解** 包括对模型输出文本生成的修改。Tokpo 和 Calders (2022 (https://arxiv.org/html/2607.07937#bib.bib12)) 将去偏视为风格迁移问题,并使用 LIME 识别有偏关键词,通过风格迁移将其替换为中性领域。Dhingra 等 (2023 (https://arxiv.org/html/2607.07937#bib.bib11)) 使用 Shapley 值识别模型输出中的有偏词语,并重新提示 LLM 在不包含这些词语的情况下改写给定句子。 **基于预处理的方法**相对于其他刻板印象缓解方法具有几个重要优势。如 Gallegos 等 (2024 (https://arxiv.org/html/2607.07937#bib.bib10)) 所述,这些方法仅在训练过程中修改模型输入。这使得在不向训练过程引入额外约束或推理时需要额外计算的情况下进行模型去偏成为可能。然而,它们也有显著的局限性。许多数据增强技术使用词表交换术语,词表可能不完整,并改变句子的语义。Gallegos 等 (2024 (https://arxiv.org/html/2607.07937#bib.bib10)) 认为,对于描述社会群体的词语,这种局限性尤为突出。假设社会群体可互换,忽略了刻板印象具有细微差别且针对每个群体这一事实。同样,移除或替换身份词并不能消除刻板印象陈述中的伤害,而只能将其转向可能不相关的群体。 类似的局限性也适用于数据过滤技术。不完整且具有误导性的词表可能导致少数群体的声音被移除,而有害文档却得以保留。此类技术还可能引入训练数据中的分布不平衡,加剧偏见。 我们的工作对这些方法的局限性进行了全面研究,同时也描述了它们引入的副作用。 ## 3 实验设置 我们研究 TinyBERT(4层,14M参数)和 GPT-2(124M参数)的编码刻板印象,以检查基于预处理的刻板印象缓解方法的潜在副作用。TinyBERT 是一个仅编码器 Transformer,使用掩码语言建模(MLM)目标训练;GPT-2 是一个仅解码器 Transformer,使用因果语言建模(CLM)目标训练。使用两个架构不同但紧凑的 PLM 为我们研究的模型提供了多样性(增强了我们发现的泛化性),同时使多轮预训练/后训练和评估在计算上可行。 所有预训练/后训练使用 2023年6月1日的英语 Wikipedia 快照,经过分词并过滤为散文文章。对于 TinyBERT,这个领域与发布模型时使用的原始训练数据相匹配。在评估方面,我们使用 StereoSet 和 CrowS-Pairs 的句子内部分。除了报告总体分数,我们还报告了基于性别(女性和男性)、种族(黑人和白种人)和宗教(穆斯林和基督徒)人口群体的群体特定刻板印象指标。这使我们能够捕捉刻板印象缓解的更细微效果。 我们考虑三种常用的数据层面干预。注意,我们仅针对我们考虑的六个人口群体或三个人口类别中的*一个*进行干预(分别称为*目标群体*或*目标类别*)。完成干预后,我们测量对所有人口群体的刻板印象。 1. 1. 某群体去偏(DG):使用预训练的句子级刻板印象检测器移除被标记为针对目标群体的*刻板印象*句子。¹¹https://huggingface.co/wu981526092/Sentence-Level-Stereotype-Detector 在 CrowS-Pairs 上,该检测器达到 F1=0.98(精确率=0.98;召回率=0.98)。 2. 2. 移除某群体(RG):移除*所有*提及目标群体的句子,无论情感或潜在的刻板印象如何。 3. 3. 交换引用(SR):替换目标类别内的所有身份提及。对于性别刻板印象,我们应用直接反义词交换(例如,“女性”↔“男性”)。对于种族和宗教刻板印象,其中不存在明确的反义词,我们定义群体
相似文章
人为不容忍:临床文档中的污名化语言扭曲大语言模型决策
这项研究表明,大语言模型会继承并放大临床笔记中污名化语言带来的偏见,导致患者管理趋于保守,且当前的缓解策略效果有限。
语言模型去偏的启发式视角
本文提出了HEIMAT,一种针对语言模型的启发式自动去偏框架,利用启发式提示揭示偏见,并通过微调模型来减少偏见,同时保持自然语言理解(NLU)性能。
当目标与评估器不一致时:评估事后人口统计框架缓解的迁移效果
该论文将事后改写以减少大语言模型生成文本中人口统计群体框架差异的问题视为迁移问题进行研究,发现编辑策略和评估器的选择会显著影响缓解措施在不同目标和评估器类别下是否呈现出成功的效果。
等等,我是否公平?刻画演绎性刻板印象并用Fair-GCG加以缓解
本文识别出LLMs中的演绎性刻板印象,并提出了Fair-GCG,一个推理阶段注入框架,用于减轻公平任务中的偏见推理。
出于必要性的偏差:收敛式人工智能与人类验证中顺序处理的不可能性定理
本文证明了不可能性定理,表明由于因果掩码(causal masking)约束,首要效应(primacy effects)、锚定效应(anchoring)和顺序依赖性(order-dependence)是自回归语言模型中架构上必然存在的偏差。作者跨越12种前沿大语言模型验证了这些理论界限,并通过涉及工作记忆负荷的预注册人类实验证实了相关预测。