语言模型去偏的启发式视角

arXiv cs.CL 论文

摘要

本文提出了HEIMAT,一种针对语言模型的启发式自动去偏框架,利用启发式提示揭示偏见,并通过微调模型来减少偏见,同时保持自然语言理解(NLU)性能。

arXiv:2608.00622v1 公告类型:新 摘要:语言模型(LM)在预训练过程中常常会获得各种偏见,并可能在交互中表现出来,从而造成社会危害。现有方法通常依赖反事实增强或表示投影。这些策略由于计算成本高且难以扩展到更大的模型,在实践中仍然受限。此外,许多此类策略需要手动数据标注,使其适用范围局限于特定文化和偏见类别。为了克服这些限制,我们提出了HEIMAT,一种启发式风格的自动去偏框架。HEIMAT包含两个主要步骤:偏见披露和去偏微调。第一步,使用简单模板构建启发式提示,用于揭示模型偏见并生成相应的上下文提示。第二步,通过最小化这些上下文提示上预测的Jensen-Shannon散度来微调模型,以减少偏见。大量实验表明,HEIMAT在不同文化中都能有效缓解偏见,同时保持模型的自然语言理解(NLU)性能。
查看原文
查看缓存全文

缓存时间: 2026/08/04 07:43

# 语言模型去偏的启发式视角

Source: https://arxiv.org/html/2608.00622

Tian Lan<sup>1</sup>, Yemin Wang<sup>2,1</sup>, Chuancheng Shi<sup>3</sup>, Xiangyu Wu<sup>4</sup>, Zesheng Shi<sup>5</sup>, Yuan Wang<sup>6</sup>, Jiang Li<sup>1</sup>, Guanglai Gao<sup>1</sup>, Xiangdong Su<sup>1</sup>  
1内蒙古大学,2厦门大学,3悉尼大学,4南京理工大学,5哈尔滨工业大学,6浙江大学  
[email protected], [email protected]

###### 摘要

语言模型(LMs)在预训练过程中常会习得各种偏见,并可能在交互中表现出来,从而造成社会危害。现有方法通常依赖反事实数据增强或表示投影。这些策略由于计算成本高且难以扩展到更大的模型,在实践中仍然受限。此外,其中许多策略需要人工数据标注,导致其适用范围仅限于特定文化和偏见类别。为克服这些局限,我们提出了 HEIMAT——一种启发式风格的自动语言模型去偏框架。HEIMAT 包含两个主要步骤:偏见揭示与去偏微调。在第一步中,它使用简单模板构造启发式提示,用于揭示模型偏见并生成相应的上下文提示。在第二步中,它通过最小化模型在这些上下文提示上预测分布的 Jensen-Shannon 散度来微调模型,从而减少偏见。大量实验表明,HEIMAT 在保持模型自然语言理解(NLU)性能的同时,能有效缓解不同文化中的偏见。

# 语言模型去偏的启发式视角

## 1 引言

参见图 1 的说明:两个模型之间的预测差异。原始模型在职业预测中表现出强烈的性别偏见,而去偏后的模型则产生更均衡的结果。

语言模型(LMs)已广泛应用于许多领域([Wang 等人,2024](https://arxiv.org/html/2608.00622#bib.bib81);[Zhang 等人,2025a](https://arxiv.org/html/2608.00622#bib.bib83),[2025b](https://arxiv.org/html/2608.00622#bib.bib82);[Liu 和 Henao,2025](https://arxiv.org/html/2608.00622#bib.bib87);[Hu 等人,2025](https://arxiv.org/html/2608.00622#bib.bib88);[Shi 等人,2025](https://arxiv.org/html/2608.00622#bib.bib89);[Dou 等人,2026b](https://arxiv.org/html/2608.00622#bib.bib91);[Shi 等人,2026](https://arxiv.org/html/2608.00622#bib.bib90);[Dou 等人,2026a](https://arxiv.org/html/2608.00622#bib.bib92)),因此,确保语言模型在不同社会背景和文化中的公平性,对于缓解模型偏见和增强其全球适用性至关重要,这也符合联合国倡导的包容性和普遍性原则([Behind,2017](https://arxiv.org/html/2608.00622#bib.bib61);[Cushman,2012](https://arxiv.org/html/2608.00622#bib.bib62))。近年来,包括预训练模型(PLMs)和大语言模型(LLMs)在内的各类语言模型在许多自然语言处理(NLP)任务上取得了显著成功。然而,由于用于训练语言模型的数据主要来自在线社区,这些数据不可避免地反映了现实世界中存在的社会偏见。这些偏见通常在预训练过程中被模型吸收,并随后在下游 NLP 任务中表现出来([Lan 等人,2025b](https://arxiv.org/html/2608.00622#bib.bib75);[Wei 等人,2026](https://arxiv.org/html/2608.00622#bib.bib84))。如图 1 所示,在相同语境下,原始模型在职业预测中表现出明显的性别失衡,倾向于将“*年轻女性*”与“*护士*”而非“*医生*”相关联,这揭示了模型内根深蒂固的性别刻板印象。此类偏见可能会在现实应用中强化社会刻板印象,并导致潜在的不利社会后果。因此,探索有效的偏见缓解方法对于构建值得信赖的跨文化语言模型至关重要。

已有许多出色的去偏尝试,例如直接使用反事实数据集对模型进行微调([Zmigrod 等人,2020](https://arxiv.org/html/2608.00622#bib.bib43);[Wang 等人,2022](https://arxiv.org/html/2608.00622#bib.bib72)),这在一定程度上有效,但耗时且资源消耗大。一些工作侧重于表示投影([Ravfogel 等人,2020](https://arxiv.org/html/2608.00622#bib.bib44))和修改词嵌入([Liang 等人,2020](https://arxiv.org/html/2608.00622#bib.bib47))来缓解偏见,但在处理模型中更复杂的偏见时效果有限。近期的方法如 CCPA([Li 等人,2023](https://arxiv.org/html/2608.00622#bib.bib59))、BiasDPO([Allam,2024](https://arxiv.org/html/2608.00622#bib.bib69))、C2PO([Feng 等人,2025](https://arxiv.org/html/2608.00622#bib.bib85))和 BiasVector([Shirafuji 等人,2025a](https://arxiv.org/html/2608.00622#bib.bib60))有效地缓解了社会偏见,但它们依赖于固定的偏好数据集。尽管这些数据集由先进模型生成,但其标注成本高昂,且难以扩展到不同语言、文化和偏见类别。关键在于,不同模型表现出不同的偏见倾向和严重程度([Lan 等人,2025a](https://arxiv.org/html/2608.00622#bib.bib71)),因此这种“一刀切”的方法难免泛化能力较差。这些缺点促使我们探索一种更灵活地缓解社会偏见的新方法。因此,本文聚焦于以下问题:

**我们如何在没有任何固定偏好数据集或外部语料库的情况下,跨语言和跨文化地消除语言模型的偏见?**

为解决这一问题,我们设计了 HEIMAT——一种启发式风格的自动去偏框架。该框架无需外部语料库,也不需要固定的偏好数据集或人工构建的词典。HEIMAT 包含两个阶段:偏见揭示和去偏正则化。在第一阶段,使用启发式提示引导模型产生有偏响应,从而明确揭示其内在偏见。在第二阶段,使用 Jensen-Shannon 散度(JSD)损失对模型进行正则化,以减少不同人口统计条件之间的预测差异。我们在五个 PLM、三个偏见评估基准和两个 NLU 数据集上进行了大量实验,结果表明 HEIMAT 在有效缓解模型偏见的同时,保持了相当的 NLU 性能。此外,HEIMAT 仅依赖六个启发式提示模板和七个关联提示来构建替换集。通过翻译模板和调整与偏见相关的术语,该框架可以自然地扩展到其他语言和偏见类别。我们强调以下贡献:

- 我们提出了 HEIMAT,一种用于 LMs 的启发式风格自动去偏框架。它包含两个阶段:偏见揭示和去偏微调。
- HEIMAT 通过自动构造的启发式提示和关联提示来揭示并缓解模型偏见,使得只需简单修改提示即可适应不同的偏见语言、文化和偏见类别。
- 在多个语言模型和基准数据集上的大量实验表明,HEIMAT 在保持模型 NLU 能力的同时,取得了具有竞争力的去偏性能。

参见图 2 的说明:HEIMAT 包含两个阶段。步骤 1(偏见揭示)使用一个包含人口统计中性目标词 \(W_t\) 的启发式提示和关联提示,来引出人口统计预测分布并构建替换列表。步骤 2(去偏微调)生成仅在人口统计属性上有差异的上下文提示,并通过最小化 Jensen-Shannon 散度来对齐它们的预测分布。

## 2 背景与相关工作

### 2.1 NLP 中的偏见问题

语言模型通常在从新闻文章、论坛和维基百科等在线来源收集的大规模语料库上进行训练,这些语料不可避免地反映了人类生成文本中存在的各种社会偏见([Schick 等人,2021a](https://arxiv.org/html/2608.00622#bib.bib63);[Blodgett 等人,2020](https://arxiv.org/html/2608.00622#bib.bib31))以及思维链过程([Feng 等人,2026](https://arxiv.org/html/2608.00622#bib.bib86))。以往研究表明,此类偏见不仅依然存在,而且在 PLM 和 LLM 中变得更加隐蔽和根深蒂固([Sheng 等人,2019](https://arxiv.org/html/2608.00622#bib.bib17);[May 等人,2019](https://arxiv.org/html/2608.00622#bib.bib18);[Kaneko 和 Bollegala,2021](https://arxiv.org/html/2608.00622#bib.bib51))。最近的工作系统地分析了现代 PLM 和 LLM 中跨语言和跨任务的社会偏见存在情况,强调了它们对下游应用的影响,并引发了人们对公平性和可靠性的日益关注([Meade 等人,2022](https://arxiv.org/html/2608.00622#bib.bib56);[Gallegos 等人,2024](https://arxiv.org/html/2608.00622#bib.bib64);[Dong 等人,2024](https://arxiv.org/html/2608.00622#bib.bib38))。

### 2.2 语言模型的去偏方法

现有的语言模型去偏方法主要依赖数据增强、基于提示的控制以及微调和对齐策略。数据驱动方法(如反事实数据增强)旨在通过构建更公平的训练数据来缓解偏见;然而,它们往往需要大量人工劳动,并带来高昂的计算和环境成本([Lu 等人,2020](https://arxiv.org/html/2608.00622#bib.bib65);[Strubell 等人,2019](https://arxiv.org/html/2608.00622#bib.bib66))。其他研究路线则聚焦于基于微调或对齐的去偏方法,包括自动生成有偏提示([Guo 等人,2022b](https://arxiv.org/html/2608.00622#bib.bib67))、通过机器遗忘实现快速偏见移除([Chen 等人,2023](https://arxiv.org/html/2608.00622#bib.bib46)),以及参数高效或 LLM 辅助的去偏策略([Han 等人,2024](https://arxiv.org/html/2608.00622#bib.bib58))。最近,研究者还探索了通过模型内部探针来揭示和缓解偏见([Dong 等人,2024](https://arxiv.org/html/2608.00622#bib.bib38)),以及基于任务运算的去偏方法,后者无需完整重训练即可减少偏见([Shirafuji 等人,2025b](https://arxiv.org/html/2608.00622#bib.bib68))。尽管这些方法在特定场景下有效,但大多数现有方法依赖外部语料库或固定偏好数据集,这限制了它们在不同偏见类别、语言和文化之间的可扩展性和泛化能力([Meade 等人,2022](https://arxiv.org/html/2608.00622#bib.bib56))。然而,大多数方法聚焦于英语偏见并假设文化普遍性,导致跨文化偏见在很大程度上仍未得到充分探索([Shan 等人,2024](https://arxiv.org/html/2608.00622#bib.bib93);[Madhusudan 等人,2026](https://arxiv.org/html/2608.00622#bib.bib94))。面向不同社会(如印度、欧洲)的文化聚焦去偏方法仍基本处于空白状态。

## 3 方法

### 3.1 总体框架

语言模型中的偏见常常表现为在相同语境下对不同人口统计群体的预测分布存在差异([Lan 等人,2025b](https://arxiv.org/html/2608.00622#bib.bib75))。为解决这一问题,我们引入了 HEIMAT——一个由提示驱动的框架,将偏见揭示与去偏微调相结合。如图 2 所示,HEIMAT 首先使用启发式提示和关联提示,挖掘给定语境中隐含关联的人口统计属性,从而构建最小对比的上下文提示集合。随后,通过最小化这些提示条件下预测分布之间的 Jensen-Shannon 散度来微调模型,在保持上下文语义的同时强制模型行为与人口统计属性无关。

参见图 3 的说明:我们创建上下文提示的过程。\[BLANK\] 表示该位置为空白,将被填充。

### 3.2 偏见揭示

HEIMAT 通过专门设计的启发式提示来揭示社会偏见。为清晰起见,我们首先定义提示中使用的三类词:(i) 目标词 \(W_t\),表示所描述的社会实体;(ii) 特征词 \(W_f\),表示与目标词相关的上下文属性或行为,通常构成形容词或动词短语;(iii) 偏见类型词 \(W_b\),用于指定感兴趣的偏见类别,例如性别或种族。

我们使用 Deepseek-Chat([Liu 等人,2024](https://arxiv.org/html/2608.00622#bib.bib95))根据我们的模板生成启发式提示。示例见[附录A](https://arxiv.org/html/2608.00622#A1)。

考虑启发式提示:“*这位年轻女性经常出现在医院,她的职业是……*”。这里,“*女性*”作为目标词 \(W_t\),“*出现在医院*”构成特征词 \(W_f\),“*职业*”对应偏见类型词 \(W_b\)。对于这个提示,语言模型可能会生成诸如“医生”、“护士”或“教师”等续写。这些响应揭示了模型在人口统计属性与职业之间的隐式关联。例如,偏好“护士”可能反映了将女性与照护角色联系在一起的性别刻板印象。通过使用这三类词组合构造提示,HEIMAT 能够系统地在不同语境中引出并分析模型的偏见行为,为后续去偏奠定基础。

受先前工作([Dong 等人,2024](https://arxiv.org/html/2608.00622#bib.bib38))的启发,我们使用一组预定义模板来构造启发式提示,以模拟真实的社会场景,同时降低人工提示工程成本。每个模板将中性目标词 \(W_t\)、特征词短语 \(W_f\) 和偏见类型词 \(W_b\) 作为输入,生成一个完整的启发式提示。

相似文章

解决“打地鼠困境”:一种更智能的 AI 视觉模型去偏方法

MIT News — Artificial Intelligence

来自麻省理工学院(MIT)、伍斯特理工学院(WPI)和 Google 的研究人员提出了 WRING,这是一种用于视觉语言模型(VLM)的新型后处理去偏方法,旨在避免在消除特定偏见时放大其他偏见的“打地鼠困境”。

语言模型中的深层和浅层偏差

arXiv cs.CL

本文引入了一个偏差深度评分,用于区分大型语言模型中稳定的“深层偏差”与依赖提示的“浅层偏差”,并展示深层偏差更持久且更难移除。

评估提示扰动对大语言模型偏见与幻觉的影响

arXiv cs.CL

这篇 arXiv 论文评估了提示扰动如何影响用于决策任务的大语言模型中的偏见与幻觉问题,发现扰动在部分模型中能够缓解这些问题,其中 Claude 3 在大多数数据集上的表现优于 GPT-3.5。

MeasHalu:通过增强推理缓解大语言模型的科学测量幻觉

arXiv cs.CL

# MeasHalu:通过增强推理缓解大语言模型的科学测量幻觉 来源:[https://arxiv.org/html/2604.16929](https://arxiv.org/html/2604.16929) Ruijun Huang1,Zhiqiao Kang1,Yuxuan Zhu1,Junxiong Li1,Jiahao Zhao1, Minghuan Tan1,Feng Jiang211footnotemark:1,Min Yang1 1 中国科学院深圳先进技术研究院高性能数据挖掘深圳市重点实验室 2 深圳大学人工智能研究院