美式英语如何成为默认?跨LLM流水线结构偏差的三角测量
摘要
本文研究了美式英语如何在大型语言模型中成为默认,通过对美式英语和英式英语变体的对照研究,考察了预训练数据、分词和生成阶段的结构偏差。
查看缓存全文
缓存时间: 2026/09/29 08:16
论文页面 - “美式英语”如何成为默认选项?跨大语言模型流程的结构性偏见三角定位
来源:https://huggingface.co/papers/2604.04204
摘要
大型语言模型在预训练数据、分词处理和生成阶段均表现出对美式英语相较于英式英语的系统性偏见,这反映了地缘政治与殖民历史对人工智能发展的深层影响。
大型语言模型(https://huggingface.co/papers?q=Large%20language%20models)(LLMs)正日益渗透至教育、专业领域及公共基础设施,但主流平台仍将“英语(美国)”设为英语主要选项,忽视了全球英语变体的多样性。我们提出问题:“美式英语”如何成为默认标准?我们将此问题视为结构性偏见(https://huggingface.co/papers?q=structural%20bias),探究数据管理的地缘政治历史、数字主导权与语言标准化(https://huggingface.co/papers?q=linguistic%20standardization)如何与LLM开发流程交织。以英式英语为受控参照,我们构建了包含1,813对匹配美式英语(AmE)-英式英语(BrE)变体的精选资源,并引入DiAlign——一种无需训练、可基于分布证据动态估算区域匹配度的方法。我们通过数据曝光→表征→生成的三元定位法,联合分析预训练与后训练数据、分词器行为与来源、模型预测成本,以及跨开发者国家、提示条件、领域与来源、语言类别和语体的生成语言特征。在全部六个审计的预训练语料库(https://huggingface.co/papers?q=pretraining%20corpora)和21个后训练数据集中,美式英语均持续受到显著偏好,通常由分词器更紧凑地表示,且预测成本更低。在中性英语提示下,美式英语仍保持生成默认值的主导地位;英式英语提示虽能将其偏好转向BrE,但未能完全消除美式英语的默认地位。据我们所知,这是首个严谨的、覆盖LLM开发主要阶段的全流程结构性偏见(https://huggingface.co/papers?q=structural%20bias)研究。我们的发现表明,当代LLMs实质上将美式英语确立为默认规范,引发了对语言同质化、认知不公(https://huggingface.co/papers?q=epistemic%20injustice)及全球AI部署不平等的关切,同时为针对性的组件级干预提供了严谨依据。
查看arXiv页面(https://arxiv.org/abs/2604.04204)查看PDF(https://arxiv.org/pdf/2604.04204)项目页面(https://tafseer-nayeem.github.io/LLM-structural-bias/)GitHub0(https://github.com/tafseer-nayeem/LLM-structural-bias)添加到收藏集(https://huggingface.co/login?next=%2Fpapers%2F2604.04204)
在您的代理工具中获取此论文:
hf papers read 2604\.04204
尚未安装最新CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本文的模型0
暂无关联模型
在模型README.md中引用arxiv.org/abs/2604.04204即可从本页面链接。
引用本文的数据集1
tafseer-nayeem/ame-bre-structural-bias 数据集查看器• 约9小时前更新 • 3.63k • 29(https://huggingface.co/datasets/tafseer-nayeem/ame-bre-structural-bias)
引用本文的Spaces0
暂无关联Space
在Space README.md中引用arxiv.org/abs/2604.04204即可从本页面链接。
包含本文的收藏集1
相似文章
迈向超越英语中心化开发的大语言模型
本文证明了大语言模型严重偏向英语,并表明持续预训练在将模型适配到其他语言(尤其是文化理解方面)时,并不比从头训练更具成本优势。
LLMs悄悄纠正非裔美国人英语:通过激活操控审计和缓解方言偏见
本文审计并缓解大型语言模型中的方言偏见,显示它们系统性地偏好标准美式英语而非非裔美国人英语。作者引入了激活操控,一种无需训练的方法,在保持流畅性的同时显著减少偏见,并发布了迄今为止最大的真实AAE平行语料库。
并列比较加剧语言模型中的方言偏见
该研究发现,语言模型在并列比较标准美式英语和非裔美国人白话英语时,会表现出更强的方言偏见,即使经过安全微调也是如此。反事实公平微调可以在孤立情况下减少某些偏见,但在对比设置中并不一致。
将LLM性别偏见锚定于人类基线:一项跨语言审计
本文对六种大型语言模型在英语、韩语、中文和日语中的性别刻板印象进行审计,并以人类基线作为锚定。研究发现,LLM的刻板印象程度往往超过人类跨国差异,且可能跨语言叠加,为此引入了一个四模式框架来表征此类行为。
评判者更喜欢英语吗?评估LLM作为评判者的语言切换不变性
本文提出了Judge-LS,一种评估LLM-as-a-judge模型在英语和中文之间语言切换是否不变的协议。研究发现,语言切换会导致10.7%至14.4%的偏好翻转,且评判者在英语中达到最高准确率。