语言模型中的深层和浅层偏差

# 语言模型中的深层与表层偏见  
来源：https://arxiv.org/html/2609.09901  
作者：An Vo³³³、Vy Tuong Dang（附属机构：KAIST）、Khai-Nguyen Nguyen（附属机构：弗吉尼亚大学）、Emilio Villa-Cueva（附属机构：MBZUAI）、Thamar Solorio（附属机构：MBZUAI）、Anh Totti Nguyen（附属机构：奥本大学）、Daeyoung Kim（附属机构：KAIST）  
\*同等贡献与指导  
[[email protected]](mailto:[email protected])、[\{emilio.villa,thamar.solorio\}@mbzuai.ac.ae](mailto:[email protected],[email protected])、[\{vydang,kimd\}@kaist.ac.kr](mailto:[email protected],[email protected])、[[email protected]](mailto:[email protected])、[[email protected]](mailto:[email protected])  

###### 摘要  
大型语言模型即使面对多种合理答案时，也常反复选择同一选项。现有研究将这种集中性视为偏见，但未区分模型的稳定偏好与依赖于特定提示措辞的响应。我们提出“偏见深度评分”，用于衡量模型在直接提示下对其首选答案的偏好强度，以及该答案在场景重构后的存续情况。通过对4,442条观点提示及四种大型语言模型的测试，发现仅约四分之一的集中偏好能在重构后保持。我们将这些持久性案例称为*深层偏见*，其余依赖提示的案例称为*表层偏见*。研究结果显示：深层偏见更常源自预训练并经监督微调（SFT）保留；无论通过持续微调还是基于提示的多样性去偏手段，深层偏见始终比表层偏见更难消除。因此，偏见深度可区分稳定习得的偏见与单一提示指标混淆的提示措辞伪影。代码、模型及数据已发布于 [deepbias.github.io](https://deepbias.github.io/)。  

## 1 引言  
大型语言模型（LLMs）即使面对多个有效选项时，也常收敛于同一答案。这种行为并非某个模型或特定主题独有。例如，当被要求随机选择一种常见蝴蝶时，Olmo-3-7B-SFT 模型在30次独立样本中100%选择“Monarch”（图1a）。类似地，要求随机选择数字时，该模型73%的样本回答“42”（图1b）。先前研究显示，LLMs即使被明确要求也无法生成均匀分布（Zhang等，2024；Vo等，2025），且常收敛至相似响应，无论跨单次模型多次采样还是跨不同模型（Jiang等，2026）。现有研究通过固定措辞下模型重复其首选答案的频率来衡量此类行为（Vo等，2025；Jiang等，2026；Zhang等，2025）。然而，这种设定无法判断重复答案反映的是稳定模型偏见还是依赖提示的响应。这一区分至关重要，因为文本输入的微小变化可能显著影响生成答案（Sclar等，2024；Mizrahi等，2024）。因此，我们认为偏见的衡量不仅应基于模型对某一答案的承诺强度，还应检验该答案在重构后是否持续存在。  

图1展示了两种案例：对于蝴蝶提示，“Monarch”在30次场景重构中93%保持为答案（图1a）；而对于数字提示，“42”在重构后（例如选择抽奖票号）降至13%，最频繁的重构答案变为“3”（图1b）。我们将第一种情况称为*深层偏见*，因同一答案在不同情境中持续存在；第二种称为*表层偏见*，因直接偏好在问题被重新提问后消失。  

区分稳定偏见（*深层*）与措辞伪影（*表层*）对于追溯偏见来源及预测消除难度同样重要。源自预训练的偏见可能在后训练阶段持续存在（Itzhak等，2025；Thaler等，2024），而监督微调（SFT）（Ouyang等，2022）可通过定向训练数据引入或强化偏见（Haller等，2024）。通过为每个问题衡量偏见深度，我们可以探究有偏答案是否已存在于预训练模型中、SFT是否保留或改变其状态，以及后续干预能否消除它。重构通过检验同一答案是否绑定于底层问题而非单一表面形式来揭示这种深度。  

我们基于此直觉构建了偏见评估框架（第2节）。直接率（DR）衡量模型在30次直接采样中重复其首选答案的频率，重构率（FR）衡量该答案在30次场景重构中重现的频率。二者乘积 π = DR·FR 仅在模型首选答案同时经受直接提示和重构考验时值较高。我们将此框架应用于一个由4,442条观点提示族构成的新语料库，每个提示族均基于真实的 Olmo-3-7B-SFT 训练样本（第3节）。主要发现如下：  

1. 在四个后SFT模型中，35.8%至77.7%的观点提示族在直接提示下存在偏见，但仅约四分之一的偏见在重构后持续存在（第4.1节）。  
2. 在 Olmo-3-7B 的完整发布流程（预训练→SFT→DPO→RLVR）中，大多数深层偏见在预训练阶段已存在，而表层偏见在SFT及每个后续后训练阶段持续增长（第4.2节）。  
3. 在重构后持续存在的偏见更可能与预训练模型的首选答案匹配，表明深层偏见常继承自预训练而非仅在SFT阶段引入（第4.3节）。  
4. 检索SFT训练数据可将有偏答案追溯至特定真实训练样本，无论SFT答案是匹配还是替换预训练模型的答案，但此类清晰归因仅适用于少量偏见，因多数无法追溯至单一训练样本（第4.3节）。  
5. 去偏后深层偏见更难消除。持续LoRA微调仅使深层偏见降低4.5个百分点，表层偏见降低10.3个百分点；基于提示的去偏（GEPA）呈现相同趋势，深层偏见仅降低1.6个百分点，表层偏见降低5.8个百分点（第4.4节）。  

## 2 偏见评估框架  
本框架从两个维度衡量LLM偏见：1）直接提示下模型首选答案的集中程度；2）该偏见对表面级重构的鲁棒性。完整流程如图1所示，具体步骤见附录A。  

### 2.1 偏见评估  
对每个提示和模型，我们评估两种条件：直接提示与场景重构（图1）。每种条件在温度0.6下采样30次。  

#### 直接提示  
直接提示即多次询问原始问题。我们使用这些样本识别模型的*直接首选答案*（即出现最频繁的答案）。*直接率*（DR）是产生该首选答案的直接样本比例。高DR意味着模型在直接提示下集中于某一答案。例如，在深层偏见案例（图1a）中，模型在“随机选择一种常见蝴蝶”问题上100%回答“Monarch”（即DR=100%）。在表层偏见案例（图1b）中，模型在“随机选择数字”问题上73%回答“42”（即DR=73%）。  

#### 场景重构  
场景重构以30种匹配的日常场景询问同一底层问题，每个场景获取一次响应。我们使用这些样本检验模型的*直接首选答案*是否在重构后持续存在。*重构率*（FR）是匹配直接首选答案的重构样本比例（而非匹配最频繁重构答案的比例）。高FR意味着即使问题置于不同语境，模型仍返回同一答案。例如，“随机选择一种常见蝴蝶”的一种重构为：“哪种著名蝴蝶应出现在这张生日邀请函封面上？”在深层偏见案例（图1a）中，直接首选答案为“Monarch”，且“Monarch”在93%的场景重构中重现（FR=0.93）。在表层偏见案例中，“随机选择数字”的一种重构为：“作为热身环节，请学生随机说出一个数字。”此时（图1b），直接首选答案为“42”，但“42”仅在13%的场景重构中重现（FR=0.13），而最频繁的重构答案变为“3”。  

### 2.2 聚类判别器  
由于数据集中每个提示均为开放式（第3节），模型可自由以多种方式表达同一选择，例如对同一问题回答“the USA”“United States”或“America”。若将这些视为不同答案，会严重低估模型偏见程度，并削弱DR和FR。因此聚类在此比固定选项基准更为重要。由于开放式答案无明确有效响应集合可匹配，我们必须在计算任一比率前自行将等效答案分组。我们借鉴Jiang等（2026）的规范化思想，将每个提示的30个样本聚类为等效答案组。每个簇由其最频繁的表面形式标识，提示的直接首选答案即直接提示簇中最大簇的表面形式。完整合并流程见A.2节。  

### 2.3 偏见深度评分  
我们使用单一评分衡量直接偏见在重构后的持续强度。*偏见深度评分*为：  
π(p) = DR(p) · FR(p)  (1)  
其中DR衡量对直接首选答案的集中度，FR衡量该答案在重构下的重现频率。仅当两者均高时，分数才高。因此，π值越高，表明模型不仅在原始提示下偏向某一答案，且在该问题的重构版本中也持续返回该答案。  

### 2.4 偏见类型  
本文研究的偏见定义为选择偏见——在多个有效答案中强烈重复某一答案。本分析中，若模型反复返回同一直接首选答案，则称该提示存在偏见。我们采用DR > 0.65作为阈值，以聚焦明显的重复案例而非近均匀采样。在30次采样中，这要求至少20次响应选择同一答案。即使对于仅有两个有效选项的提示（均匀采样最可能重复答案），期望直接率也仅为0.5。有效答案越多的提示，均匀基线越低。  

接着我们检验同一直接首选答案是否在重构后持续存在。FR采用相同0.65阈值。因π = DR·FR，对应π ≈ 0.65×0.65 ≈ 0.40。这产生三类情况：  
- •**深层偏见**：DR > 0.65 且 π > 0.40。模型具有集中的直接首选答案，且该答案在重构后持续存在。  
- •**表层偏见**：DR > 0.65 且 π ≤ 0.40。模型具有集中的直接首选答案，但该答案在重构后未持续存在。  
- •**无偏见**：DR ≤ 0.65。模型无集中的直接首选答案。  

### 2.5 总偏见比例  
对每个提示族分类后，我们报告三个语料库级比率：*深层率*、*表层率*和*无偏见率*，三者总和为100%。我们将*总偏见比例*定义为深层+表层，衡量模型在多少比例的提示族中表现出集中的首选答案。这是语料库级统计量，不同于针对每个提示族计算的DR和FR。  

## 3 数据集  
我们研究 Olmo-3-7B-SFT（Ettinger等，2025），因其预训练基座（Olmo-3-7B-Pretrained）、SFT数据（Dolci-Instruct-SFT）及完整训练流程均公开。这种开放性使我们能将数据集中每个提示锚定于真实的 Olmo-3-7B-SFT 训练样本，而非让LLM从头生成提示。以这种方式构建数据集有三点意义：  
1. 避免生成器偏见——若LLM自行生成所有提示和主题，可能反映其自身偏好。  
2. 主题更多样自然——源自为不同目的编写的真实SFT训练行。  
3. 每个提示可追溯至特定训练样本，便于检验测量的偏见是否在SFT前已存在于预训练模型中，或在SFT期间被引入/改变。这使我们将测量的偏见归因于特定训练阶段，并检查相关训练样本。  

全程在温度0.6下采样 Olmo-3-7B-SFT（AllenAI，2025 官方模型卡推荐的推理温度）。对其他评估模型也采用相同温度，确保采样设置不会使某一模型显得比其他模型更集中或更分散。  

计算偏见深度评分 π（第2节）需同时使用直接提示及其多种重构，因此现有的单措辞观点基准（Vo等，2025；Zhang等，2025）不足以支撑本分析。我们构建了由4,442个*