AmchiBias：基于英语和孔卡尼语最小配对数据集测量果阿身份群体的刻板偏见

# AmchiBias：使用英语和孔卡尼语的最小对数据集测量果阿身份群体的刻板偏见

来源：https://arxiv.org/html/2606.15191
Michelle Barbosa & Sebastian Padó 斯图加特大学自然语言处理研究所 \{michelle\.barbosa — franziska\.weeber — pado\}@ims\.uni\-stuttgart\.de & Franziska Weeber

###### 摘要

社会文化刻板偏见是NLP系统开发与部署中的重要考量因素。然而，尽管存在丰富的次国家级社会文化结构，偏见评估往往仅在国家层面进行。我们提出AmchiBias，这是首个针对印度果阿邦（因其独特的历史多元文化背景）测量社会文化刻板偏见的基准测试。它涵盖多种果阿身份群体，包含跨八个社会人口维度的313个最小对，同时提供英语和天城文孔卡尼语两种版本。我们在此基准上评估了五个多语言编码器模型的刻板偏见。我们发现，模型在孔卡尼语上的得分接近随机水平，这反映了通用多语言模型的语言能力不足，以及印度语言模型缺乏对果阿文化的能力。当使用英语进行查询时，印度语言覆盖率较高的模型对泛印度群体表现出比超本地化果阿群体更高的偏见。这表明英语信号反映的是泛印度预训练关联，而非真正的果阿文化知识。我们的发现突显了低资源多语言NLP评估在超本地化社区身份方面的关键空白。

\fontspec_if_language:nTF
ENG\addfontfeatureLanguage=English

AmchiBias：使用英语和孔卡尼语的最小对数据集测量果阿身份群体的刻板偏见

Michelle BarbosaSebastian Padó斯图加特大学自然语言处理研究所\{michelle\.barbosa — franziska\.weeber — pado\}@ims\.uni\-stuttgart\.deFranziska Weeber

## \fontspec_if_language:nTFENG\addfontfeatureLanguage=English1 引言

NLP中的偏见评估长期以来一直受到欧美假设和基准测试的影响（例如，bolukbasi\_2016\_man; caliskan\_2017\_semantics; nadeem-etal-2021-stereoset; parrish-etal-2022-bbq; nangia-etal-2020-crows）。近期的研究开始从更广泛的文化、语言和地区角度审视偏见。一个例子是涵盖西方框架中未包含的社会文化方面（如种姓）的印度语言基准测试（sahoo-etal-2024-indibias; Khandelwal\_2024; malik-etal-2022-socially）。这些数据集在国家层面运作，涵盖性别、宗教和种姓等广泛维度，使用印地语和英语。然而，印地语并非在所有印度地区正式使用，sahoo-etal-2024-indibias 本人也承认印度的刻板印象很可能随地区差异而发生完全反转，但他们指出这超出了其数据集的范围。

果阿恰恰提供了这样一个案例：其社会结构沿着种姓、宗教、语言和本地性等交叉维度分层，受450年葡萄牙殖民统治的影响，这种统治重新配置了种姓等级制度，压制了本土语言孔卡尼语，并巩固了英语作为教育和社会特权的语言地位（rodrigues-2020）。这些殖民遗产意味着果阿身份群体具有独特的刻板印象关联，这些关联无法映射到更广泛的泛印度类别上，并且同样的社会紧张关系可能因为产生文本的语言社区不同而编码方式不同。

然而，对孔卡尼语的评估面临资源限制，这源于使用人数少以及果阿的殖民历史。在葡萄牙殖民统治下，本土孔卡尼语文本被系统性摧毁，作为压制非基督教身份的一部分（rodrigues-2020），而罗马字母则通过传教活动被巩固为主导的书写形式。wherritt-1989指出，在1961年从葡萄牙解放时，孔卡尼语词汇的15%由葡萄牙语借词组成。独立后，孔卡尼语面临马拉地语使用者的压力，他们认为孔卡尼语是马拉地语的一种方言。该语言于1975年被正式承认为独立语言，天城文孔卡尼语于1987年在果阿获得官方地位。尽管如此，孔卡尼语的NLP资源仍然稀缺，包括一个约四百万词的原始文本语料库（ramamoorthy2019konkani; choudhary2019ldcil）、一个包含6,520个句子的习语语料库（shaikh-etal-2024-konidioms）和一个语音语料库（ramamoorthy-2019-konkani-speech）。据我们所知，目前不存在任何针对孔卡尼语变体的偏见评估资源。

因此，我们想知道在多语言编码器模型中可以发现哪些关于果阿身份群体的刻板印象。我们关注两个较小的研究问题：

1. \fontspec_if_language:nTFENG\addfontfeatureLanguage=English研究问题1：多语言语言模型在孔卡尼语和英语中是否表现出相同的刻板偏见？
2. \fontspec_if_language:nTFENG\addfontfeatureLanguage=English研究问题2：跨社会文化维度是否存在刻板偏见的差异？

我们的贡献如下：

- \fontspec_if_language:nTFENG\addfontfeatureLanguage=English• 我们推出AmchiBias，\fontspec_if_language:nTFENG\addfontfeatureLanguage=English1\fontspec_if_language:nTFENG\addfontfeatureLanguage=English1\fontspec_if_language:nTFENG\addfontfeatureLanguage=English1Amchi 在孔卡尼语中意为“我们的”一个同时使用天城文孔卡尼语和罗马体英语的双语基准数据集，能够测量跨八个不同社会文化维度的果阿身份群体中的刻板印象。
- \fontspec_if_language:nTFENG\addfontfeatureLanguage=English• 我们使用AmchiBias评估了五个多语言编码器模型。我们的发现表明，当用英语查询时，大多数模型在所有测试维度上对果阿身份群体表现出强烈的刻板印象关联。当用孔卡尼语查询时，模型几乎没有表现出偏见。使用语言建模分数，我们表明这可归因于缺乏语言理解，而非孔卡尼语中不存在偏见。

我们公开提供数据和代码。\fontspec_if_language:nTFENG\addfontfeatureLanguage=English2\fontspec_if_language:nTFENG\addfontfeatureLanguage=English2\fontspec_if_language:nTFENG\addfontfeatureLanguage=English2\fontspec_if_language:nTFENG\addfontfeatureLanguage=Englishhttps://anonymous\.4open\.science/r/amchibias\-B7D7/ (https://anonymous.4open.science/r/amchibias-B7D7/)我们的发现突显了在NLP中对更区域性、文化特异性以及全球性和后殖民视角的偏见评估的需求，特别是针对低资源语言。

## \fontspec_if_language:nTFENG\addfontfeatureLanguage=English2 相关工作

### \fontspec_if_language:nTFENG\addfontfeatureLanguage=English2.1 区域与文化偏见评估

NLP中社会偏见的评估主要依赖于模板式或句子对基准测试。caliskan\_2017\_semantics 引入了词嵌入关联测试（WEAT），通过余弦相似度的置换检验量化静态词嵌入中两个目标组与两个属性组之间的关联。基础性基准数据集如CrowS-Pairs（nangia-etal-2020-crows）包含9个类别（包括种族、宗教和性别）的1,508个最小差异句子对，通过MLM模型中的掩码标记伪似然进行评分；StereoSet（nadeem-etal-2021-stereoset）将此扩展到句子内部和句子间上下文，涵盖四个维度（职业、性别、种族、宗教），通过复合刻板印象分数衡量模型对刻板、反刻板与无意义补全的偏好。BBQ（parrish-etal-2022-bbq）将偏见框架化为在模糊与消歧上下文中的问答，跨越11个社会维度，衡量模型在证据缺失时是否默认选择刻板答案。

然而，这些基准测试主要以西语为中心，关注美国普遍存在的差异维度，如种族和二元性别，未能捕捉其他地区的社会语言复杂性。

近期工作强调了文化情境化偏见评估的必要性。malik-etal-2022-socially 证明了与种姓和宗教相关的偏见深植于印度语言表示中，需要区域特定的工（如姓氏）才能准确测量。为了解决缺乏印度中心数据集的问题，sahoo-etal-2024-indibias 引入了IndiBias，将CrowS-Pairs方法论扩展到印度社会文化语境，而Indian-BhED（Khandelwal\_2024）等基准则专门针对种姓和宗教刻板印象。值得注意的是，评估的LLMs表现出比西方基准中通常研究的性别和种族偏见更强的复制印度中心刻板印象的倾向。然而，他们的数据集仅限英语，未涉及多语言和区域变化。尽管取得了这些进展，本地化和交叉性身份（如特定于果阿等地区邦的基于职业的种姓动态）仍然未被充分探索。

### \fontspec_if_language:nTFENG\addfontfeatureLanguage=English2.2 英语对比低资源与后殖民语言

对多语言模型性能的研究一致表明，在非英语输入上性能显著下降，特别是对于预训练期间代表性不足的语言。ebrahimi-etal-2022-americasnli 引入了AmericasNLI，这是一个跨越十个美洲土著语言的零样本NLI数据集，这些语言在XLM-R的预训练数据中缺失，发现平均准确率仅为38.48%，略高于随机水平，持续预训练仅带来适度改进。

这归因于预训练数据的不平衡：模型偏向于来自高频表示语言的实体和文化关联，对低频语言的知识不足（li-etal-2025-culture）。这对于果阿孔卡尼语尤其重要，其本地术语在很大程度上缺失于预训练语料库。

此外，分词已成为多语言NLP中结构性不平等的来源。lundin-etal-2026-token 表明，较高的分词生育率（每个词更多子词标记）持续预测跨越16种非洲语言的较低准确率，将生育率确立为语言在模型中边缘化的可测量代理。我们在第5.5节（https://arxiv.org/html/2606.15191#S5.SS5）中考察了孔卡尼语的这一情况。

### \fontspec_if_language:nTFENG\addfontfeatureLanguage=English2.3 非西方偏见类别与文化根基

当存在非英语偏见基准时，它们常常是英语资源的改编。AraWEAT（lauscher-etal-2020-araweat）和法语CrowS-Pairs（neveol-etal-2022-french）分别将西方来源的刻板印象翻译成阿拉伯语和法语，存在目标语境文化失调的风险。gamboa-etal-2025-social 发现64%的多语言偏见基准聚焦于印欧语系语言，低资源和非西方语言严重代表性不足。结果导致了一个复合缺口：最可能编码文化特定偏见的模型受到的评估最少。

偏见基准中的文化根基得到了越来越多的关注。pawar-etal-2025-presumed 指出，虽然预训练可以使模型与特定文化对齐，但由此产生的模型编码了嵌入在该文化数据中的偏见——这强调了需要在目标文化语境内部构建基准，而非从外部翻译。我们的工作将此扩展到超本地化环境。我们引入的果阿身份维度——包括基于职业的种姓社区、本土性类别如“Gulfies”和“Bhaile”，以及孔卡尼语内部的语言社区区分——不能还原为IndiBias或Indian-BhED中使用的泛印度类别，也不能还原为种族或二元性别等西方轴线。

\fontspec_if_language:nTFENG\addfontfeatureLanguage=English表1：AmchiBias中跨八个社会文化维度使用的身份群体。

## \fontspec_if_language:nTFENG\addfontfeatureLanguage=English3 AmchiBias的构建

我们的数据集AmchiBias遵循IndiBias（sahoo-etal-2024-indibias）的句子对方法论，而IndiBias本身又遵循CrowS-Pairs（nangia-etal-2020-crows），以及来自StereoSet（nadeem-etal-2021-stereoset）的语言建模控制。图1（https://arxiv.org/html/2606.15191#S3.F1）提供了构建流程的概览。它包含大约313个句子元组，每个元组包含一个刻板句子、一个反刻板句子和一个控制句子。所有句子均以英语构建，随后翻译成孔卡尼语，得到每个元组的平行英-孔版本。每个条目按社会文化维度、目标群体以及赋予目标群体的特征进行索引。

参见标题\fontspec_if_language:nTFENG\addfontfeatureLanguage=English图1：数据集构建流程。橙色=LLM辅助，蓝色=人工，绿色=最终数据集。

### \fontspec_if_language:nTFENG\addfontfeatureLanguage=English3.1 身份群体选择

与激发我们灵感的前期基准不同，AmchiBias涵盖了果阿社会显著且部分泛印度共有的八个社会文化维度中的37个身份群体，如