从专业化到通用化：指令微调大语言模型用于健壮有害内容缓解

# 面向鲁棒有害内容缓解的指令微调大语言模型
来源：https://arxiv.org/html/2608.25605

## 从专业化到泛化：用于鲁棒有害内容缓解的指令微调大语言模型

Lukas Edman  
 affiliations：慕尼黑工业大学 计算、信息与技术学院，慕尼黑机器学习中心  
Daryna Dementieva  
 affiliations：慕尼黑工业大学 计算、信息与技术学院，慕尼黑机器学习中心  
Alexander Fraser  
 affiliations：慕尼黑工业大学 计算、信息与技术学院，慕尼黑机器学习中心，慕尼黑数据科学研究所  
 [email protected], [email protected]

###### 摘要
大语言模型在广泛的通用自然语言处理任务中展现出令人印象深刻的性能；然而，其在诸如仇恨言论检测等敏感领域的有效性仍不明确。先前将基于提示的大语言模型与先进的基于编码器的模型进行比较的研究（例如，BERT变体 Roy et al. (2023) (https://arxiv.org/html/2608.25605#bib.bib70)；Dönmez et al. (2024) (https://arxiv.org/html/2608.25605#bib.bib21)）仅显示出边际增益，这表明大语言模型可能并不擅长仇恨言论检测或缓解。在本研究中，我们从指令微调的角度重新审视这一问题。通过全面统一涵盖多种标注方案的36个英文仇恨言论数据集，我们基于Qwen3 (Qwen Team (2025) (https://arxiv.org/html/2608.25605#bib.bib66)) 微调了一个通用大语言模型，专门用于仇恨言论缓解。我们的结果不仅在领域内基准测试上取得了最先进水平，还在跨领域和跨语言泛化方面取得了显著改进——这些领域通常是基于编码器的专业分类器的弱点。

## 1 引言
仇恨言论检测已被广泛研究，导致了众多数据集的发布，这些数据集涵盖了广泛的任务、领域、语言和标注方案 Mathew et al. (2021) (https://arxiv.org/html/2608.25605#bib.bib49); Mandl et al. (2019) (https://arxiv.org/html/2608.25605#bib.bib48); Cjadams et al. (2017) (https://arxiv.org/html/2608.25605#bib.bib12)（参见表1 (https://arxiv.org/html/2608.25605#S1.T1)）。尽管存在这种多样性，构建**可泛化**的仇恨言论模型（即能覆盖大量与仇恨言论相关的任务，并在未见领域表现良好）的进展有限。现有研究很大程度上孤立地处理每个数据集或子任务，并且在统一众多可用的异构数据集以开发跨多样化仇恨言论场景具有更鲁棒性能的任务无关模型方面，付出的努力甚少。因此，特定任务的基于编码器的模型（例如，BERT变体）仍然是主流方法 Wang et al. (2020) (https://arxiv.org/html/2608.25605#bib.bib81); Sai and Sharma (2020) (https://arxiv.org/html/2608.25605#bib.bib72)，因为使用大语言模型进行提示并未始终产生显著更优的结果 Roy et al. (2023) (https://arxiv.org/html/2608.25605#bib.bib70); Dönmez et al. (2024) (https://arxiv.org/html/2608.25605#bib.bib21)。与此同时，指令微调作为将大语言模型与专门领域对齐的最有前途的方法之一，尚未在仇恨言论缓解方面得到系统性地探索。

<!-- 替换图1的占位符文字 -->
图1：在这项工作中，我们希望弥合理解上的差距：经过指令微调的通用大语言模型（即HIPPO，右侧）是否比专门为任务微调的语言模型（即BERT和Llama，左侧）是更鲁棒、更精确的仇恨言论检测器？

为了弥合这一差距，首先，我们整合了**36个异构的英文数据集**，形成了一个统一的、指令格式化的语料库，包含超过60万示例和61个子任务。利用这个统一的训练数据集，我们对一个大语言模型进行指令微调，并将得到的模型命名为 **HIPPO**（HarmfulInput, Positive andProductiveOutput，参见图1 (https://arxiv.org/html/2608.25605#S1.F1)）。我们在领域内、领域外和跨语言设置中评估HIPPO。本研究旨在回答以下研究问题：

**RQ1**：与针对英语仇恨言论任务的强特定任务基线相比，我们指令微调的大语言模型表现如何？
**RQ2**：我们指令微调的大语言模型是否优于零样本或少样本提示的大语言模型？
**RQ3**：我们指令微调的大语言模型能否泛化到以前未见的仇恨言论领域和标签？
**RQ4**：我们仅有的英文指令微调数据集能在多大程度上支持大语言模型的跨语言泛化？

我们的结果显示，指令微调模型与最佳的基于编码器的系统相比，达到了有竞争力且通常更好的性能，同时还展示了跨任务泛化能力。使用较小版本的数据集来引导模型，我们也观察到潜在的更高跨语言性能，尤其是在生成任务上。我们在网上发布了用于微调和最佳性能模型的代码，供公众使用。111 https://github.com/TUM-NLP/HIPPO

**表1：使用的数据集列表及示例数量、领域和标签类型。领域包括Twitter (![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png))、Reddit (![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/reddit_logo.png))、Gab (![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/gab_logo.png))、Facebook (![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/facebook_logo.png))、Wikipedia (![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/wiki_logo.png))、YouTube (![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/youtube_logo.png)) 以及 Civil Comments (CC) 等。**

| 数据集 | 来源 | 训练集 | 测试集 | 领域 | 标签类型 | (子)任务数 |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| CAD | Vidgen et al. (2021) (https://arxiv.org/html/2608.25605#bib.bib80) | 13423 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/reddit_logo.png) | 多标签 | 1 |
| CAT-LARGE | Pavlopoulos et al. (2020) (https://arxiv.org/html/2608.25605#bib.bib61) | 19870 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/wiki_logo.png) | 二元 | 1 |
| CONAN | Chung et al. (2019) (https://arxiv.org/html/2608.25605#bib.bib11) | 408 | | 合成 | 生成 | 1 |
| ConvAbuse | Cercas Curry et al. (2021) (https://arxiv.org/html/2608.25605#bib.bib10) | 40 | 13 | 聊天机器人 | 层级 | 4 |
| DialoCONAN | Bonaldi et al. (2022) (https://arxiv.org/html/2608.25605#bib.bib8) | 1299 | | 合成 | 生成 | 1 |
| EAP | Vidgen et al. (2020) (https://arxiv.org/html/2608.25605#bib.bib79) | 19989 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) | 多类 | 1 |
| ETHOS | Mollas et al. (2022) (https://arxiv.org/html/2608.25605#bib.bib52) | 998 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/reddit_logo.png) ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/youtube_logo.png) | 层级 | 4 |
| FoxCom | Gao and Huang (2017) (https://arxiv.org/html/2608.25605#bib.bib29) | 1525 | | Fox News | 二元 | 1 |
| GHC | Kennedy et al. (2022) (https://arxiv.org/html/2608.25605#bib.bib38) | 20610 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/gab_logo.png) | 层级 | 3 |
| HSOL | Davidson et al. (2017) (https://arxiv.org/html/2608.25605#bib.bib15) | 24771 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) | 多类 | 1 |
| ImplicitHate | ElSherief et al. (2021) (https://arxiv.org/html/2608.25605#bib.bib23) | 6358 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) | 多类 | 1 |
| Intervene | Qian et al. (2019) (https://arxiv.org/html/2608.25605#bib.bib65) | 16628 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/reddit_logo.png) ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/gab_logo.png) | 生成 | 1 |
| LargeScaleAbuse | Founta et al. (2018) (https://arxiv.org/html/2608.25605#bib.bib28) | 44768 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) | 多类 | 1 |
| LargeScaleXDomain | Toraman et al. (2022) (https://arxiv.org/html/2608.25605#bib.bib77) | 68188 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) | 多类 | 1 |
| MeasuringHate | Sachdeva et al. (2022) (https://arxiv.org/html/2608.25605#bib.bib71); Kennedy et al. (2020) (https://arxiv.org/html/2608.25605#bib.bib39) | 39511 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/reddit_logo.png) ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/youtube_logo.png) | 多类 | 1 |
| Multitarget-CONAN | Fanton et al. (2021) (https://arxiv.org/html/2608.25605#bib.bib24) | 4055 | | 合成 | 生成 | 2 |
| NewsHate | Salminen et al. (2018) (https://arxiv.org/html/2608.25605#bib.bib73) | 3215 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/facebook_logo.png) ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/youtube_logo.png) | 层级 | 2 |
| ReligiousHate | Ramponi et al. (2022) (https://arxiv.org/html/2608.25605#bib.bib67) | 5746 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) | 层级 | 5 |
| SlurCorpus | Kurrek et al. (2020) (https://arxiv.org/html/2608.25605#bib.bib43) | 39944 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/reddit_logo.png) | 多类 | 1 |
| Stormfront | De Gibert et al. (2018) (https://arxiv.org/html/2608.25605#bib.bib16) | 10521 | | Stormfront | 二元 | 1 |
| SWAD | Pamungkas et al. (2020a) (https://arxiv.org/html/2608.25605#bib.bib57) | 2567 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) | 二元 | 1 |
| ToxiCR | Sarker et al. (2023) (https://arxiv.org/html/2608.25605#bib.bib74) | 12767 | | 代码审查 | 二元 | 1 |
| TwitterCR | Waseem and Hovy (2016) (https://arxiv.org/html/2608.25605#bib.bib83) | 12727 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) | 二元 | 1 |
| TwitterExpert | Waseem (2016) (https://arxiv.org/html/2608.25605#bib.bib82) | 6908 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) | 多类 | 1 |
| TwitterSA | Arkhoshghalb (2019) (https://arxiv.org/html/2608.25605#bib.bib3) | 25825 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) | 二元 | 1 |
| USElect | Grimminger and Klinger (2021) (https://arxiv.org/html/2608.25605#bib.bib31) | 2400 | | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) | 二元 | 1 |
| AMI18 | Fersini et al. (2018) (https://arxiv.org/html/2608.25605#bib.bib25) | 3998 | 1000 | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) | 层级 | 3 |
| EDOS | Kirk et al. (2023) (https://arxiv.org/html/2608.25605#bib.bib41) | 13998 | 2000 | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/reddit_logo.png) ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/gab_logo.png) | 层级 | 3 |
| HASOC19 | Mandl et al. (2019) (https://arxiv.org/html/2608.25605#bib.bib48) | 5817 | 1153 | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/facebook_logo.png) | 层级 | 3 |
| HatEval19 | Basile et al. (2019) (https://arxiv.org/html/2608.25605#bib.bib7) | 8992 | 2971 | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) | 层级 | 3 |
| HateXplain | Mathew et al. (2021) (https://arxiv.org/html/2608.25605#bib.bib49) | 15348 | 1924 | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/gab_logo.png) | 层级 | 3 |
| Jigsaw | Cjadams et al. (2017) (https://arxiv.org/html/2608.25605#bib.bib12) | 159529 | 63978 | CC | 多标签 | 1 |
| OffensEval20 | Zampieri et al. (2019) (https://arxiv.org/html/2608.25605#bib.bib86) | 13187 | 5309 | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) | 层级 | 3 |
| ParaDetox | Logacheva et al. (2022) (https://arxiv.org/html/2608.25605#bib.bib47) | 11927 | 600 | ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/twitter_logo.png) ![[Uncaptioned image]](https://arxiv.org/html/2608.25605v1/img/reddit_logo.png) | CC | 生成 | 1 |
| ToxicSpans | Pavlopoulos et al. (2022) (https://arxiv.org/html/2608.25605#bib.bib60); Pavlopoulos et al. (2021) (https://arxiv.org/html/2608.25605#bib.bib62) | 7931 | 2000 | CC | 生成 | 1 |
| **总计** | | **64976** | **18093** | | | **561** |

## 2 背景
#### 仇恨言论定义
尽管在仇恨言论检测领域已发表大量工作，但很少有计算机科学研究明确说明其在标注或自动处理中采用的仇恨或辱骂性言论的具体定义 Arora et al. (2024) (https://arxiv.org/html/2608.25605#bib.bib4); Rizwan et al. (2025) (https://arxiv.org/html/2608.25605#bib.bib68)。因此，首先，我们指明本研究使用的定义。

仇恨言论缓解属于**数字暴力**这一术语之下——一个总称，指对个人或社区造成伤害的言论或行为。我们的研究聚焦于以文本形式表达的数字暴力。Lewandowska-Tomaszczyk et al. (2023) (https://arxiv.org/html/2608.25605#bib.bib44) 的研究将有害内容分为**冒犯性言论**，包括17个子类别，如**禁忌、侮辱、仇恨言论、骚扰和有毒**。我们采用 **仇恨言论** 的定义为针对特定群体的辱骂性语言 (Röttger et al., 2021 (https://arxiv.org/html/2608.25605#bib.bib69))，**有毒言论** 为包含粗俗或亵渎性语言的文本 Costa-jussà et al. (2022) (https://arxiv.org/html/2608.25605#bib.bib14); Logacheva et al. (2022) (https://arxiv.org/html/2608.25605#bib.bib47)，但不一定是辱骂性或仇恨性的。对于指令提示中使用的许多其他标签，我们参考数据集的原始定义。

#### 仇恨言论缓解数据集
多年来，已引入了数十个仇恨言论检测数据集，反映了广泛的标注策略、领域和语言 Poletto et al. (2021) (https://arxiv.org/html/2608.25605#bib.bib64)。自然语言处理社区在该领域的巨大努力记录在《仇恨言论数据目录》中，该目录系统地跟踪仇恨言论资源的发展 Vidgen and Derczynski (2020) (https://arxiv.org/html/2608.25605#bib.bib78)。222 https://hatespeechdata.com 已投入大量精力开发多样化的仇恨言论检测和缓解数据集，特别是针对英语的。常见的标注方案范围从 **二元分类**（例如，仇恨与非仇恨，有毒与无毒）到 **多类标签**（例如，仇恨言论 vs 冒犯性语言 vs 中性），甚至 **层级框架**，在识别后进一步指定仇恨的子类型。最早策划的资源之一 AMI18 Fersini et al. (2018) (https://arxiv.org/html/2608.25605#bib.bib25)，源自Twitter，专门针对厌女内容，采用层级标注策略。随后，从各种社交网络（如Twitter Zampieri et al. (2019) (https://arxiv.org/html/2608.25605#bib.bib86); Sachdeva et al. (2022) (https://arxiv.org/html/2608.25605#bib.bib71)、Gab Mathew et al. (2021) (https://arxiv.org/html/2608.25605#bib.bib49); Kirk et al. (2023) (https://arxiv.org/html/2608.25605#bib.bib41) 或 Reddit Vidgen et al. (2021) (https://arxiv.org/html/2608.25605#bib.bib80); Qian et al. (2019) (https://arxiv.org/html/2608.25605#bib.bib65)）收集了更多数据集。最大的有毒言论分类数据集之一 Jigsaw Cjadams et al. (2017) (https://arxiv.org/html/2608.25605#bib.bib12)，基于Civil Comments，包含超过15万个标注样本。另一个值得注意的数据集 HateCheck Röttger et al. (2021) (https://arxiv.org/html/2608.25605#bib.bib69)，使用功能测试来隔离仇恨言论表现的具体案例，允许研究人员诊断可能被聚合基准指标掩盖的系统性模型故障。除了仇恨内容**分类**数据集外，一些研究...