美式英语如何成为默认?跨LLM流水线结构偏差的三角测量

Hugging Face Daily Papers 论文

摘要

本文研究了美式英语如何在大型语言模型中成为默认,通过对美式英语和英式英语变体的对照研究,考察了预训练数据、分词和生成阶段的结构偏差。

大型语言模型(LLMs)日益融入教育、职业和公共基础设施,然而,广泛使用的平台尽管英语具有全球多样性,却将“英语(美国)”作为主要英语设置。我们提问:美式英语如何成为默认?我们将此问题视为结构偏差,考察数据策展、数字主导和语言标准化的地缘政治历史如何与LLM开发流水线相交。以英式英语为对照参考,我们构建了一个精选的1,813个匹配的美式英语(AmE)--英式英语(BrE)变体资源,并介绍了DiAlign,一种无需训练的动态方法,用于从分布证据估计区域一致性。我们跨数据暴露-->表示-->生成三角测量美式英语偏好,共同考察预训练和后训练数据、分词器行为和来源、模型预测成本,以及跨开发者国家、提示条件、领域和来源、语言类别和语域生成的语言。美式英语在所有六个审计的预训练语料库和21个后训练数据集中始终受到青睐,通常由分词器更紧凑地表示,并获得更低的预测成本。它在中立英语提示下仍保持主导生成默认;英式英语提示将此偏好转向英式英语,但并未一致消除美式英语默认。据我们所知,这是首次对LLM开发主要阶段结构偏差进行严格的流水线全面研究。我们的研究结果表明,当代LLMs将美式英语视为事实标准,引发对语言同质化、认知不公正和全球AI部署不平等的担忧,同时为有针对性的组件级干预提供了严格基础。
查看原文
查看缓存全文

缓存时间: 2026/09/29 08:16

论文页面 - “美式英语”如何成为默认选项?跨大语言模型流程的结构性偏见三角定位

来源:https://huggingface.co/papers/2604.04204

摘要

大型语言模型在预训练数据、分词处理和生成阶段均表现出对美式英语相较于英式英语的系统性偏见,这反映了地缘政治与殖民历史对人工智能发展的深层影响。

大型语言模型(https://huggingface.co/papers?q=Large%20language%20models)(LLMs)正日益渗透至教育、专业领域及公共基础设施,但主流平台仍将“英语(美国)”设为英语主要选项,忽视了全球英语变体的多样性。我们提出问题:“美式英语”如何成为默认标准?我们将此问题视为结构性偏见(https://huggingface.co/papers?q=structural%20bias),探究数据管理的地缘政治历史、数字主导权与语言标准化(https://huggingface.co/papers?q=linguistic%20standardization)如何与LLM开发流程交织。以英式英语为受控参照,我们构建了包含1,813对匹配美式英语(AmE)-英式英语(BrE)变体的精选资源,并引入DiAlign——一种无需训练、可基于分布证据动态估算区域匹配度的方法。我们通过数据曝光→表征→生成的三元定位法,联合分析预训练与后训练数据、分词器行为与来源、模型预测成本,以及跨开发者国家、提示条件、领域与来源、语言类别和语体的生成语言特征。在全部六个审计的预训练语料库(https://huggingface.co/papers?q=pretraining%20corpora)和21个后训练数据集中,美式英语均持续受到显著偏好,通常由分词器更紧凑地表示,且预测成本更低。在中性英语提示下,美式英语仍保持生成默认值的主导地位;英式英语提示虽能将其偏好转向BrE,但未能完全消除美式英语的默认地位。据我们所知,这是首个严谨的、覆盖LLM开发主要阶段的全流程结构性偏见(https://huggingface.co/papers?q=structural%20bias)研究。我们的发现表明,当代LLMs实质上将美式英语确立为默认规范,引发了对语言同质化、认知不公(https://huggingface.co/papers?q=epistemic%20injustice)及全球AI部署不平等的关切,同时为针对性的组件级干预提供了严谨依据。

查看arXiv页面(https://arxiv.org/abs/2604.04204)查看PDF(https://arxiv.org/pdf/2604.04204)项目页面(https://tafseer-nayeem.github.io/LLM-structural-bias/)GitHub0(https://github.com/tafseer-nayeem/LLM-structural-bias)添加到收藏集(https://huggingface.co/login?next=%2Fpapers%2F2604.04204)

在您的代理工具中获取此论文:

hf papers read 2604\.04204

尚未安装最新CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

暂无关联模型

在模型README.md中引用arxiv.org/abs/2604.04204即可从本页面链接。

引用本文的数据集1

tafseer-nayeem/ame-bre-structural-bias 数据集查看器• 约9小时前更新 • 3.63k • 29(https://huggingface.co/datasets/tafseer-nayeem/ame-bre-structural-bias)

引用本文的Spaces0

暂无关联Space

在Space README.md中引用arxiv.org/abs/2604.04204即可从本页面链接。

包含本文的收藏集1

相似文章

迈向超越英语中心化开发的大语言模型

arXiv cs.CL

本文证明了大语言模型严重偏向英语,并表明持续预训练在将模型适配到其他语言(尤其是文化理解方面)时,并不比从头训练更具成本优势。

并列比较加剧语言模型中的方言偏见

arXiv cs.CL

该研究发现,语言模型在并列比较标准美式英语和非裔美国人白话英语时,会表现出更强的方言偏见,即使经过安全微调也是如此。反事实公平微调可以在孤立情况下减少某些偏见,但在对比设置中并不一致。

将LLM性别偏见锚定于人类基线:一项跨语言审计

arXiv cs.CL

本文对六种大型语言模型在英语、韩语、中文和日语中的性别刻板印象进行审计,并以人类基线作为锚定。研究发现,LLM的刻板印象程度往往超过人类跨国差异,且可能跨语言叠加,为此引入了一个四模式框架来表征此类行为。