lmfaoooo在SemEval-2026任务1：幽默即受众——约束幽默生成中的偏好建模

# 幽默是受众。面向约束幽默生成的偏好建模
来源：https://arxiv.org/html/2606.00022
## lmfaoooo at SemEval\-2026 Task 1: 幽默是受众。面向约束幽默生成的偏好建模

Alexey Ivanov OpenAI 山景城，加利福尼亚州 SaveTheRbtz@GMail\.com

###### 摘要

幽默生成之所以困难，不仅在于生成流畅新颖的笑话很难，更在于“好笑”是依赖受众的，并且监督信号充满噪音——偏好随受众、语境和文化而变化，标注者间的一致性往往很低。在本文中，我们描述了针对 SemEval-2026 任务 1 (MWAHAHA) Castro et al. (2026) 的系统，该任务专注于在显式约束下进行幽默生成。该任务通过一对一擂台式比较中的人类偏好判断来评估提交的系统。

我们采用“先生成多个候选→再选择最佳”的策略。首先，我们通过多步骤提示、模型集成和多样性导向解码，为每个实例生成一个多样化的候选池。其次，我们使用一个偏好模型来选择输出，该模型通过从人类比较中学习（而非绝对趣味性评分）来近似“读者”。为了支持这种方法，我们发布了通过幽默擂台原型 (Ivanov and Tikhonov, 2025) 收集的约 2.5K 个人类成对判断。我们进一步提出了一个可解释的流水线，将标注的比较转换为偏好模型。在三个偏好数据集上，我们的模型始终优于基线，并显示出更强的跨领域迁移能力。最后，我们将学习到的偏好模型应用于 MWAHAHA 设置的候选排序，并发布中间产物（候选池和排名）以促进后续工作。[1](https://github.com/altsoph/lmfaoooo)

我们的系统在 MWAHAHA 的英语和汉语子任务中排名第一，在西班牙语子任务中排名第二。

lmfaoooo at SemEval-2026 Task 1: 幽默是受众。面向约束幽默生成的偏好建模

Alexey Tikhonov Inworld.AI 柏林，德国 [email protected]
Alexey Ivanov OpenAI 山景城，加利福尼亚州 [email protected]

## 1 引言

> *“问题在于，”爱丽丝说，“你能不能使词语有那么多不同的含义。” “问题在于，”矮胖子说，“谁才是主人——仅此而已。”* Carroll (1871)

电脑能变得幽默吗？幽默生成长期以来被视为自然语言生成的压力测试：除了语法和语义连贯性，一个成功的笑话必须引发受众反应，而这深受文化、人口统计和语境的影响。从 Propp (1976) 到 Warren 等人 (2021)，不同作者描述了多种相互竞争的幽默欣赏理论，并强调幽默依赖于不协调、违背/良性框架以及受众。一个实际后果是，幽默的监督信号本质上是嘈杂的：即使是精心设计的人工标注设置，一致性也往往有限，不同群体在偏好上存在系统性分歧 Ruch (2013)，Murakami 等人 (2026)。即使在受控数据集环境中，标注者之间也存在显著分歧；在幽默相关标注任务中，中等程度的一致性很常见，例如，双关语数据的 Fleiss' κ ≈ 0.49 Sun 等人 (2022)。因此，“黄金标签”通常更适合被视为偏好分布的样本，而非客观事实。

第二个实际挑战是笑话生成中的记忆化和模式崩溃。在对 ChatGPT 笑话输出的系统探究中 Jentzsch and Kersting (2023)，1008 个生成的笑话中有超过 90% 重复了相同的 25 个笑话，这表明无约束生成可能默认使用一小部分高频模板，而不是产生新颖幽默。这促使我们需要采取奖励多样性、惩罚近似重复的评估和选择策略。此外，模型通常与经过社会选择（例如，通过喜剧演员策划或在线流行度）的“精致”笑话进行比较，而 AI 输出大多未经筛选——这种不对称性可能导致对模型的评估产生偏差。

SemEval-2026 任务 1，MWAHAHA (Models Write Automatic Humor And Humans Annotate) Castro 等人 (2026)，是首个致力于推进计算幽默生成（包括基于文本的约束笑话生成）的 SemEval 任务。该任务旨在通过要求模型在约束条件下生成、并使用人类标注进行评估，推动模型超越记忆化。在这项工作中，我们认为对于约束幽默生成，瓶颈通常是选择而非原始生成：现代 LLM 可以生成许多可行的候选，但可靠地识别哪个候选对目标受众最有趣是核心困难。因此，我们将幽默生成视为一个两阶段过程：(i) 生成多样化的候选，然后 (ii) 使用学习到的受众偏好选择最优的。

我们的主要贡献是：

- **偏好数据发布**。我们发布了来自幽默擂台 (Ivanov and Tikhonov, 2025) 的约 2.5K 个人类成对判断。
- **偏好优先框架**。我们将约束幽默生成形式化为使用重复成对偏好决策生成并排名多个候选，并证明这能产生比基线评分更稳定的学习信号。
- **可解释的偏好模型**。我们提出了一个可解释的“幽默特征”提取流水线，将比较转换为紧凑的特征基，从而能够训练轻量级偏好模型。
- **lmfaoooo 系统**。我们将该流水线应用于 SemEval-2026 任务 1，并记录了完整的生成和选择工作流程。我们公开发布了[2](https://github.com/altsoph/lmfaoooo)我们的提示、候选池、特征和实验中所用的排名，以及所用模型的版本和其他支持可复现性的信息。

## 2 背景：幽默、新颖性与评估

幽默并非单一现象，而是一系列机制（例如，不协调、文字游戏、期望违背）。对幽默理论的综述列举了许多部分重叠的解释，表明“趣味性”的通用定义不太可能在模型训练和评估中具有操作上的充分性 Warren 等人 (2021)。经典的幽默研究也报告了不同人口统计群体之间幽默欣赏的差异，这强化了评估依赖于评分者群体的观点 Mundorf 等人 (1988)，Dore (2019)。

Tikhonov and Shtykovskiy (2024) 在盲评中表明，仔细的任务设计可以引出质量与人类笑话相当的机器生成幽默，包括通过使用头脑风暴式提示技术。创造性生产中的一个常见模式是生成许多候选，然后选择最好的。在 LLM 创造力研究中，明确分离头脑风暴和选择阶段，其表现优于单独进行头脑风暴 Summers-Stay 等人 (2023)。可以使用不同的技巧来增加生成结果的多样性 Zhang 等人 (2025)。此外，直接针对笑话生成进行训练也能产生强劲的结果 Wang 等人 (2025)。

在 LLM 大规模应用的时代，有效且无偏的评估是一个棘手问题 Tikhonov and Yamshchikov (2023)。然而，即使对于创意文本评估这样的主观任务，也已经取得了一些有趣的结果 Agafonova 等人 (2020)。自动幽默识别、检测或选择也是一个已知的开放问题 Mihalcea and Strapparava (2006)，最近出现了一些有前景的结果 Kalloniatis (2024)，Bago and others (2025)。在主观的 NLG 任务中，逐点（李克特式）评分通常是嘈杂或不一致的。在许多设定下，比较性协议可以更好地与人类判断对齐 Novikova 等人 (2018)，尽管它们会引入自身的偏差和成本。MWAHAHA Castro 等人 (2026) 本身采用成对擂台式人类偏好评估进行最终评分。从成对比较中学习排序在统计学中有着悠久传统（例如，Bradley–Terry 风格模型 Bradley and Terry (1952)）。实际优势在于，即使比较图不完整，也可以推断出全局排名，这在比较成本高昂时很有用。最近关于成对 LLM 评估和排名聚合的研究（例如，不确定性引导的比较调度和评估器设计）提供了补充证据和可行建议，以提高准确性和降低成本。

这启发了我们的系统设计：将候选生成视为多样性最大化问题，将选择视为偏好学习问题；然后，使用 Evalica Ustalov (2025)（一个旨在支持可靠、可复现评估和排名的开源工具包）生成最终排名。

## 3 任务描述：SemEval-2026 MWAHAHA

MWAHAHA 子任务 A Castro 等人 (2026) 要求在多语言（英语、西班牙语、汉语）下，在约束条件下（例如，基于新闻标题或包含指定词汇）生成笑话。该任务旨在通过约束设计和人类评估来鼓励新颖性和公平性。

## 4 数据

我们使用三个数据集来训练和评估偏好模型。

### 4.1 基于 Reddit 的比较

我们使用一个 Reddit 笑话数据集，其中包含根据顶/踩票得出的人类评分和比较，最初由 Weller and Seppi (2019) 收集。该数据集代表了相对广泛的、由社区驱动的幽默，具有强烈的主题和风格规律性。由于源自投票的标签可能反映混杂因素（例如，可见性和时间效应）而非纯粹的趣味性，我们将其视为嘈杂的偏好信号，并注意减少训练/测试分割中的近似重复泄露。该数据集使用 Baranov 等人 (2023) 提供的脚本下载，并按照 Tikhonov and Shtykovskiy (2024) 中描述的完全相同方式进行处理。

### 4.2 幽默机制数据集

我们还使用了 Humor Mechanics 项目仓库[3](https://github.com/altsoph/humor-mechanics)公开发布的人类比较数据。它包含人类撰写和生成的笑话，以及通过 Scale.AI 服务招募的评估员收集的人工标签。

### 4.3 幽默擂台成对判断

我们在幽默擂台[4](https://humor.ph34r.me/)收集成对判断，这是一个用于比较不同模型生成的笑话，并通过重复比较形成模型/笑话排名的轻量级平台。我们公开发布了[5](https://github.com/SaveTheRbtz/humor)一个包含 2,543 个成对比较的数据集，这些比较是在 391 个会话中收集的，针对生成的一行笑话。每个比较有四种结果之一：A 赢、B 赢、两者都好、两者都差。对于训练偏好模型，我们将赢/输编码为 y ∈ {1,0}，并丢弃“两者都好”/“两者都差”的结果。

## 5 方法

### 5.1 候选生成

在候选生成阶段，我们紧密遵循 Tikhonov and Shtykovskiy (2024) 中描述并受 Summers-Stay 等人 (2023) 启发的多步骤生成策略：我们不是试图一次性生成笑话，而是首先生成、扩展和优化一个联想列表，然后在最后阶段将它们合并成几个候选笑话（具体提示请参见 Tikhonov and Shtykovskiy (2024) 的附录 B）。

为了增加多样性并减少记忆化，我们使用了 (i) 模型集成（具体是 claude-sonnet-4 Anthropic (2025a), claude-opus-4.5 Anthropic (2025b) 和 GPT-5 OpenAI (2025)，所有模型的默认温度均为 1.0），以及 (ii) 一种尾部分布采样技巧 Zhang 等人 (2025)，该技巧旨在从模型分布的低概率区域抽取候选。在我们的实验中，每个任务实例生成 50 个候选（在去重和过滤之前）。为了过滤候选池，我们应用确定性检查来强制执行 MWAHAHA 任务的硬约束（关键词包含和长度限制），并丢弃无效候选。为了减少近似重复泄露并提高选择的鲁棒性，我们还使用嵌入相似度进行去重，每个近似重复簇保留质心候选。

### 5.2 构建“幽默基”

为了选择最佳候选，我们需要比较它们并获得尽可能接近人类受众的结果。偏好建模的一个核心困难在于表示：原始文本嵌入可以工作，但难以解释和诊断。因此，我们构建了一个紧凑、可解释的特征“幽默基”，这是我们提议方法的关键元素——一个相对简短的列表，列出可以在特定笑话中使用（或不使用）的不同幽默方面。例如，在这些规则中，可能有使用*黑色幽默*、*夸张*或*文字游戏*的建议。在某种程度上，这类似于 Bai 等人 (2022) 的宪法 AI 方法，但我们不要求规则相互对齐或一致。

在这个阶段，我们的目标是实现流行幽默方面的最大多样性，同时不过度膨胀列表。为了构建这样一个基，我们从每个训练偏好对中提取定性的“差异提示”：通过提示 LLM 生成 7-10 条关于两个笑话如何不同的简短描述。这产生了数千条候选提示。然后，我们对这些提示进行嵌入，使用 DP-means Kulis and Jordan (2012) 进行聚类，并丢弃小聚类。最后，我们在聚类之间应用语义（基于 LLM）去重，以获得一个紧凑的基（当前运行中有 17 个特征；完整列表见附录 A）。

### 5.3 特征向量提取

现在，使用幽默基，我们可以将其用于特征向量提取过程：将单个笑话或一对笑话与基一起呈现，并要求 LLM 根据基规则对其进行评分。我们在此实现两种不同的设置：(i) 逐点式：我们要求 LLM 独立地评分给定笑话，生成一个权重向量（每条规则对应一个权重）；(ii) 成对式：我们要求 LLM 比较两个笑话，并返回一个差异向量——即在一对笑话中，哪一个更符合给定的规则。