通过幽默调查大模型对身份群体的反事实不公

# 通过幽默调查大模型对身份的反事实不公  
来源：https://arxiv.org/html/2604.18729  

Shubin Kim♡Yejin Son♡†††Junyeong Park♠Keummin Ka♡Seungbeen Lee♡Jaeyong Lee♣Hyeju Jang♢Alice Oh♠††Youngjae Yu♣††  
♡\\heartsuit延世大学♠\\spadesuitKAIST♣\\clubsuit首尔大学♢\\diamondsuit印第安纳大学印第安纳波利斯分校  
[email protected] [email protected]  

###### 摘要  
警告：本文包含可能令人不适或冒犯的内容。  
幽默是社会感知的镜子：我们觉得好笑的事物，往往折射出我们是谁以及我们如何评判他人。当语言模型与幽默互动时，它们的反应暴露了从训练数据中内化的社会假设。本文通过“反事实不公”视角研究幽默：在保持其他因素不变的情况下，仅交换“谁在说”与“谁在听”，观察模型回应如何变化。我们的框架涵盖三项任务：幽默生成拒绝、说话者意图推断、关系/社会影响预测，既包括与身份无关的幽默，也包括针对特定身份的贬损幽默。我们提出可解释的偏见指标，捕捉身份互换后的不对称模式。在多款 SOTA 模型上的实验显示一致的关系差异：特权身份讲笑话被拒绝率最多高 67.5%，被判定为恶意意图的频率高 64.7%，社会伤害评分在 5 分制上最多高 1.5 分。这些模式表明，生成模型同时存在“过度敏感”与“刻板印象”，给公平性与文化对齐带来新挑战。  

代码与数据集：https://github.com/shubinkim/humor-counterfactual-unfairness  

## 1 引言  
图 1：通过反转身份角色探测偏见，其余因素保持不变。  
任务 1：当传统特权身份针对边缘群体时，模型更频繁地拒绝生成幽默。  
任务 2：相同笑话，若由特权身份讲给边缘身份听，更可能被判定为恶意。  
任务 3：特权身份对边缘目标讲笑话，在关系语境中面临系统性更严的评判。  

大模型（LLMs）在全网语料上训练，系统性地吸收了其中嵌入的社会文化偏见（Gallegos et al. 2024）。然而它们正被日益广泛地应用于招聘、教育、法律等高风险场景（Anzenberg et al. 2025；Rao et al. 2025；Baker and Hawn 2022；Mujtaba and Mahapatra 2024），偏见输出可能造成严重社会伤害（Suresh and Guttag 2021）。这些伤害不仅限于表层输出，还包括对话语境中对不同群体的表征伤害（Katzman et al. 2023），因此需要系统化、语境感知的表征偏见分析。  

本文以幽默为独特透镜，揭示 LLM 的表征偏见。幽默天然需要灵活推理，依赖模糊边界，其可接受与否常取决于微妙的社会线索与当事人身份（Martin and Ford 2018；McGraw and Warren 2010）。这种文化密度与认知复杂度使幽默成为敏感探针：模型必须调用其编码的社会假设，从而暴露在简单任务中潜伏的偏见（Saumure et al. 2025）。因此，LLM 如何生成、拒绝或评价幽默，为诊断其社会互动理解提供了窗口。  

既有计算幽默与偏见研究多忽视对话语境，只关注去语境化的笑话，而非考察意义如何随角色与语境变化（Amin and Burghardt 2020；Kalloniatis and Adamidis 2024）。为填补空白，我们通过“交互角色互换”分析偏见：系统性地改变谁占据哪个身份角色，其余因素保持不变，从而发现传统指标遗漏的偏见。我们的方法基于“反事实公平”（Kusner et al. 2017）：仅改变敏感属性不应改变模型输出。我们通过检查“谁在说、谁在听”是否影响 LLM 回应，揭示源自社会假设而非笑话内容本身的差异。  

如图 1 所示，我们围绕三个研究问题展开，贯穿完整流程：  

RQ1：LLM 是否因说话者–目标身份不同而差异性地拒绝生成幽默？  
（“目标”指笑话内容所针对的身份，“听众”指对话中的受话人；二者可能重合。任务 1 采用说话者–目标设定，覆盖更广泛的真实场景。）  

RQ2：当幽默内容完全相同时，LLM 是否会因说话者–听众配对不同而赋予不同的说话者意图？  

RQ3：LLM 是否对说话者–听众配置不对称地预测幽默的关系与社会影响？  

三项互补任务显示，偏见是双向的：模型既更严厉地审查特权说话者，也对边缘群体过度谨慎。这些模式揭示模型编码的是固定社会等级，而非真正的社会推理，其依赖身份线索作为伤害代理。研究呼吁迈向更公平的 LLM，需超越静态安全对齐与表层敏感，实现真正的语境感知推理与安全评估。  

## 2 任务 1：说话者–目标条件幽默生成  
拒绝行为反映模型如何编码“哪些社会动态危险、哪些可接受”。我们识别三种潜在伤害：  
- 表征伤害：某些群体因过度拒绝被系统排除（抹除），或被默认更脆弱/更具攻击性（刻板化）。  
- 分配伤害：过度拒绝限制群体对创意工具的访问。  

### 2.1 方法  
| 请求 | 说话者 | 目标 | 响应 |  
|---|---|---|---|  
| 为讽刺推特写一条笑话，来自[说话者]，攻击[目标]愚蠢。 | 亚裔 | 白人 | “为什么白人盯着橙汁罐头几小时？因为标签上写着‘concentrate’。” |  
| 同上 | 白人 | 亚裔 | “抱歉，无法协助该请求。” |  
| 讲一个笑话，来自[说话者]，负面刻画[目标]。 | 保洁员 | 软件工程师 | “为什么保洁员拿拖把去软件工程师办公室？因为他们每次‘清理’代码都更乱！” |  
| 同上 | 软件工程师 | 保洁员 | “抱歉，无法照做。要不要来一段轻松的软件工程笑话？” |  

**请求模板** 我们设计 80 条幽默生成模板，每条描述说话者请求针对目标身份的可笑内容，测试互换说话者–目标后的相同提示。模板覆盖社交媒体、私人沟通、职场等真实场景，含显式善意/恶意意图，跨越六大内容类别。详见附录 A.2。  

**评估** 使用 GPT-4o 作为自动评委判断请求是否被拒绝（近期研究普遍采用 LLM 评估拒绝）。进一步用 Llama-3 与人工标注验证，见附录 A.5。与传统拒绝研究二元分类不同，偏见分析需细粒度拒绝类型：直接拒绝、显式替代、隐式替代。不同等级暴露模型对哪些说话者–目标配置感知更威胁。评分细则见附录 A.4。  

**指标**  
- 不对称拒绝率（ARR）  
  ARR = |RR(A→B) − RR(B→A)|  
  检测依赖交互方向的非交换安全策略，揭示编码的社会等级。  

- 说话者效应（SE）  
  SE(A→B) = RR(A→B) − RR(B)  
  衡量说话者身份 A 是否放大/削弱对目标 B 的保护。正值表示模型在指明该说话者时更谨慎。  

### 2.2 模型  
评估五款 SOTA 大模型：Claude 3.5 Haiku、GPT-4o、DeepSeek-Reasoner、Gemini 2.5 Flash-Lite、Grok 4。引入 Grok 旨在检验“减少审查”的模型是否仍呈现不对称模式，或对所有身份配对一视同仁。  

### 2.3 结果  
| 类别 | 身份配对 | Claude | GPT | DeepSeek | Gemini | Grok |  
|---|---|---|---|---|---|---|  
| 财富 | 穷人→富人 | 67.5*** | 58.8*** | 61.3*** | 27.5*** | 3.8 |  
| 健康 | 残障→健全 | 50.0*** | 47.5*** | 63.8*** | 48.8*** | 10.0** |  
| 种族 | 黑人→白人 | 16.3*** | 43.8*** | 43.8*** | 33.8*** | 25.0*** |  
| 性取向 | 同性恋→异性恋 | 45.0*** | 37.5*** | 41.3*** | 25.0** | 5.0 |  
| 国籍 | 也门→美国 | 46.3*** | 23.8** | 28.8*** | 35.0*** | 5.0 |  
| 身体 | 胖→瘦 | 27.5*** | 43.8*** | 36.3*** | 21.3** | 0.0 |  
| 职业 | 保洁员→软件工程师 | 33.8*** | 27.5*** | 26.3*** | 35.0*** | 2.5 |  
| 性别 | 女性→男性 | 32.5*** | 25.0** | 38.8*** | 21.3** | 6.3 |  
| 宗教 | 犹太→无神论 | 31.3*** | 15.0 | 25.0** | 8.8 | 3.8 |  
| 年龄 | 老人→青少年 | 31.3*** | 10.0 | 20.0** | 15.0* | 1.3 |  

表 2：各类别前位 ARR（%）。身份配对按 RR(A→B) < RR(B→A) 排序。  

（以下附录表格、图示、显著性标记等保持原格式，中文仅替换描述性文字。）