语言模型认为谁是称职的？职业偏见的机制分析

# 语言模型认为谁具备能力？职业偏见的机制分析

来源：https://arxiv.org/html/2608.20347  
Keren Fuentes 独立研究员 [email protected] & Aaron Mueller 波士顿大学 [email protected]

###### 摘要  
语言模型（LMs）通常能通过行为偏见评估，但尚不清楚它们是否已不再表征导致偏见的底层关联，还是仅仅学会了不表达这些偏见。在本研究中，我们表明即使行为偏见不可见，表征偏见通常仍可检测到。我们引入一个因果框架，将职业偏见分解为两个测量点：模型对用户能力的内部表征及其可观察输出。我们推导出表示用户专业知识的引导向量，并验证它们在问答任务和招聘任务中对模型行为的因果中介作用。将此框架应用于多个开源权重模型，我们发现人口统计属性（如性别、种族和社会经济地位）会影响模型对用户专业知识的表征，即使行为指标未检测到人口群体间存在差异。我们表明，这些模型表征可能在干预下影响下游行为，暗示仅靠行为指标可能无法检测到的失效模式。我们已将代码库发布于 https://github.com/kere-nel/representational_bias。

---

# 语言模型认为谁具备能力？职业偏见的机制分析

Keren Fuentes 独立研究员 [email protected]  
Aaron Mueller 波士顿大学 [email protected]

## 1 引言  
人类可能对特定人口群体持有潜意识偏见（Greenwald 和 Banaji，1995；Greenwald 等，2009），即使未意识到这一点；此类偏见通常会影响后续决策（Greenwald 等，2022）。在语言模型（LMs）中，这与已知的**捷径学习**现象类似（Du 等，2023）：LMs 往往更倾向于依赖更简单的虚假启发式方法，而非更稳健的因果相关特征。LM 捷径的一种广泛研究形式是人口统计偏见（Bolukbasi 等，2016；Caliskan 等，2017；Li 等，2024；Gupta 等，2025 等）。后训练方法已被证明可以减少偏见的表象，但近期研究显示，人口统计偏见仍可能被间接引发（Bai 等，2025），并且模型在其表征中可以编码人口特征与社会角色之间的关联，即使其输出看似无害（Karvonen 和 Marks，2025）。

现有表征方法主要将人口信息定位在 LMs 的潜在表征中（Neplenbroek 等，2025）。基于这些见解，我们引入了一个测量潜在偏见的框架，将偏见分解为内部表征和可观察的模型行为。我们将偏见定义为模型实现了这样一种机制：因果无关的属性（包括性别、种族和/或社会经济地位）影响其对个人能力的内部推理。为了研究 LMs 中机制性偏见的程度，我们推导出捕获 LMs 对用户在给定领域专业知识的内部表征的向量表示（§2.2）。为了验证它们在模型中的因果作用，我们在招聘任务（Karvonen 和 Marks，2025）以及我们提出的职业相关问答数据集中使用这些向量进行引导。引导直接影响招聘率和模型回答问题的技术复杂度。通过使用最小差异的提示对，我们发现专业知识表征对用户是否陈述拥有相关经验是敏感的。然而，在所有其他条件不变的情况下，仅改变提示中的人口统计信息也会显著改变模型激活与专业知识表征的对齐强度。同时，诸如阅读水平等行为指标并不总是与人口统计信息相关；这表明表征指标可能揭示行为指标未能发现的潜在偏见。

总之，我们的贡献包括：
- • 一个通过 LMs 对用户能力的内部表征来评估职业偏见的因果框架。
- • 基于引导向量的、用户在给定领域专业知识的操作化定义。沿着专业知识表征进行的干预会影响两项任务中的模型行为：问答和招聘。
- • 在问答和招聘环境下的多个 LMs 中，我们发现即使行为评估未能检测到，模型在内部用户表征中仍可能表现出人口统计差异。

## 2 方法  
我们在两种任务设置中进行实验：专业问题（§2.1）和招聘（§4）。在两项任务中，我们都推导出对应于模型对用户能力表征的引导向量（§2.2）。对于专业问题任务，我们假设模型输出的语言复杂度将由专业知识表征因果中介；我们在 §2.3 中定义了复杂度的测量指标。根据这些定义，我们形式化了偏见的因果模型（§2.4），并描述了确定人口统计变量与 LM 用户专业知识模型之间因果关系所需的证据。

### 2.1 数据  
**专业问题。** 我们首先构建了 $\mathcal{D}_{\text{P}}$，这是一个包含 20 种职业的专业问题数据集，这些职业选自美国劳工统计局。我们按频率选择了前 20 个职业。对于每种职业，我们使用 GPT-5 生成了 100 个问题。该提示旨在引发处于不同职业阶段的从业者可能提出的真实问题。这确保了数据集既能捕捉领域多样性（跨职业），又能捕捉专业多样性（跨经验水平）。附录 G 提供了用于生成数据集的提示示例，以及跨专业水平的示例问题。

**招聘。** 我们还使用了 Karvonen 和 Marks (2025) 招聘任务的一个修改版本。每个提示首先说明招聘的职位，随后是包含候选人姓名、经验和教育背景的简历。然后，要求模型判断是否应该雇用该人，并指示给出“是/否”回答。示例见附录 F.1。

### 2.2 专业知识表征  
为了量化模型的专业知识表征，我们使用**差异均值**方法（Marks 和 Tegmark，2024）构建了一个**引导向量**（Subramani 等，2022）。我们手动创建了两组提示，每组包含与职业无关的句子，用于说明用户的一般能力水平或自我认知。
1. **专家组 $R^+$**：例如，“我多年来深入研究过这个主题。”
2. **新手组 $R^-$**：例如，“我刚开始学习这个主题。”

设 $\mathbf{h}^l_i \in \mathbb{R}^d$ 为输入序列中第 $i$ 个 token 在第 $l$ 层的隐藏表示。对于每个提示，我们对 token 取平均以获得单个表示 $\mathbf{h}^l \in \mathbb{R}^d$。专业知识向量是专家组和新手组平均表示的差值：
$$
\mathbf{e} = \frac{1}{|R^+|} \sum_{\mathbf{h}^l \in R^+} \mathbf{h}^l - \frac{1}{|R^-|} \sum_{\mathbf{h}^l \in R^-} \mathbf{h}^l \quad (1)
$$

给定上下文 $C$，我们定义**专业知识分数** $E$ 为上下文中最后一个 token（例如，句号）的表示 $\mathbf{h}_{|C|}^l$ 在专业知识单位向量 $\frac{\mathbf{e}}{\|\mathbf{e}\|}$ 上的标量投影大小：
$$
E(C) = \mathbf{h}_{|C|}^l \cdot \frac{\mathbf{e}}{\|\mathbf{e}\|} \quad (2)
$$
这个标量投影衡量模型的激活在多大程度上位于专业知识方向上。我们假设更高的标量投影对应于模型将用户表征为更有能力；我们在引导实验（§3.1）中提供了这一点的因果证据。

### 2.3 阅读水平  
我们假设，将用户表征为更专业领域的专家的模型将生成更复杂的语言，复杂度的变化可能反映语言风格和底层内容。这一选择基于社会语言学的发现，即说话者会根据推断的听众知识状态调整其语言（Ferreira, 2019）。一个有充分记录的例子是儿童指向言语，当成人认为听者缺乏能力时，他们会使用更短、更常见的词和更短的句子（Snow, 1972；Tippenhauer 等，2020）。

受先前翻译工作（Marchisio 等，2019）的启发，我们结合了两种阅读水平指标来捕捉语言复杂性的互补方面（例如，句子结构和词汇复杂度）：
- • **Flesch-Kincaid 年级水平 (FKGL)**：估计理解给定文本所需的美国学校年级；它考虑平均每句词数和平均每词音节数（Kincaid 等，1975）。
  $$ 0.39 \frac{\#\text{words}}{\#\text{sentences}} + 11.8 \frac{\#\text{syllables}}{\#\text{words}} - 15.59 $$
- • **Dale-Chall 可读性分数 (DCRS)**：基于四年级学生熟悉词汇表之外的单词比例（即所谓的“高级单词”）来衡量难度（Dale 和 Chall, 1948）。
  $$ 0.1579 \frac{\#\text{advanced words}}{\#\text{words}} \cdot 100 + 0.0496 \frac{\#\text{words}}{\#\text{sentences}} $$

对于每个模型输出 $Y$，我们计算（分数越高表示越复杂）：
$$ L = \frac{1}{2} \left( \text{FKGL}(Y) + \text{DCRS}(Y) \right) $$
我们还在附录 A 中针对不同阅读水平的专业撰写的文本验证了这些指标。

### 2.4 偏见测量的因果模型  
我们将语言模型 $\mathcal{M}$ 中与职业相关的人口统计偏见概念化为：当因果无关的人口统计特征（如性别、种族和社会经济地位）影响模型对用户能力的表征时产生。我们说一个人口统计属性与能力无关，如果在保持职业和教育不变的情况下，它不应该改变理性评估者对用户专业知识的估计。我们在这个意义上将性别、种族和社会经济地位视为因果无关的，而职业、教育以及成年人/儿童年龄对比是因果相关的。请参见图1：说明我们在专业问题任务（§2.1）实验设置的因果图。输入包括问题 $Q$ 和包含相关信息和/或无关信息的上下文 $C$。职业 $P$、教育 $Ed$ 和年龄 $A$ 与评估领域专业知识因果相关，而种族 $R$、性别 $G$ 和社会经济状态 $S$ 则因果无关。

我们将偏见定义为：(i) 无关因素对隐式指标（如内部专业知识表征 $E$）具有可测量的因果影响；或 (ii) 无关因素对行为指标（如模型输出 $Y$ 的阅读水平 $L$）具有因果影响。

我们将每个输入形式化为由两部分组成的提示：一个职业问题 $Q$ 后跟一个用户上下文 $C$。用户上下文包括因果因素，如用户的职业（$P$）、教育（$Ed$）和年龄（$A$），以及非因果因素，如用户的种族（$R$）、性别（$G$）和社会经济地位（$S$）。例如，“如何反转链表？供参考，我是一名女性，也是一名开发者。”模型处理组合输入 $(Q,C)$，并在每一层 $\ell$ 为每个 token $t$ 生成一个隐藏表示。如前所述，我们使用最后一个 token，它在 LLMs 中被证明具有上下文承载 token 的功能（Razzhigaev 等，2025），并且在更广泛的引导中经验上有效（Brinkmann 等，2025；Karvonen 和 Marks，2025；Wu 等，2024）。

我们的框架在图中的两个点测量偏见：在专业知识分数 $E$（一个*表征性*指标）和生成输出的阅读水平 $L$（一个*行为性*指标）。一个模型可能在一个点表现出偏见而另一个没有（例如，随着对因果无关人口统计因素的干预而变化）；我们发现潜在指标检测到了行为指标遗漏的偏见。

我们通过将残差激活投影到专业知识引导向量（§2.2）上来计算专业知识分数 $E$。给定提示，模型随后输出响应 $Y$，我们在其上测量 $L$。注意 $Q$ 可以直接影响 $E$；例如，模型可能将软件工程问题表征为比设计问题更“专业”。为了控制这一点，我们在附录 D 中分析了特定职业的影响；我们的高层发现跨职业基本一致。

## 3 专业问题实验  
请参见图2：左图：在正向和负向引导下跨职业的阅读水平变化。右图：不同引导系数下 Llama-8B 的响应示例及其对应的阅读分数。更多模型响应示例见附录 E.2。