谁与何？利用语言特征和标注者特征分析标注差异

# 谁与什么？利用语言特征和标注者特征分析标注变异来源

来源：https://arxiv.org/html/2605.06318  
Gabriella Lapesa<sup>1,2</sup>  
<sup>1</sup>GESIS - 莱布尼茨社会科学研究所  
<sup>2</sup>杜塞尔多夫海因里希·海涅大学  
<sup>1</sup>[email protected]  

###### 摘要

人类标签变异已被确立为自然语言处理（NLP）中的核心现象：必须包容不同标注者对同一项目所持的不同视角。因此，数据收集实践转向增加标注者数量并发布未聚合数据集，其中有害语言因具有高度主观性而资源最为丰富。尽管这提供了关于**谁**进行了标注（社会人口统计学、态度等）以及**什么**内容（例如项目的语言属性）及其相互作用的信息，但后者及其交互作用却鲜少受到关注。我们提出了对四个有害语言检测参考数据集的首次大规模分析，将标注者特征、项目语言属性及其交互作用结合在一个具有统计依据的图景中。我们发现交互作用至关重要，揭示了以往工作中被忽略的交叉性效应，并且词汇线索和标注者态度在其中发挥了重要作用。然而，效应模式在不同数据集之间存在显著差异。这促使我们在概括性和可迁移性方面保持谨慎。<sup>111</sup>我们的分析代码可在 https://anonymous.4open.science/r/who_and_what-F1C7 获取。

免责声明：本文包含粗俗表达和仇恨文本示例。

# 谁与什么？利用语言特征和标注者特征分析标注变异

## 1 引言

参考说明  
**图 1：** 序数文本标注的交叉分类数据结构：每个标注属于一个唯一的标注者/项目组合。每个项目属于一个批次。我们关注虚线框内的结构。

近年来，呼吁考虑标注分歧（Basile 等人，2021a）和包容标注变异（数据透视主义，Cabitza 等人，2023）促使引入了包含个别标注者标签决策的**未聚合**语料库，以及建模方法，这些方法不仅仅将它们聚合为单一的标准标签，而是考虑到这种变异（Davani 等人，2022；Weerasooriya 等人，2023 等）。在标注者特征特别重要的任务中，**透视主义**研究揭示了一幅混合的画面：虽然一些研究发现包含标注者的社会人口统计学信息可以改善对标注变异的建模（Kocoń 等人，2021；Wan 等人，2023；Tahaei 和 Bergler，2024），但另一些研究则未找到令人信服的证据表明其有效（Orlikowski 等人，2023；Sun 等人，2025）。

我们认为，这种差异以及现有研究的设计揭示了在解决主要潜在问题方面的差距：**谁**在对**什么**的感知上存在差异（参见 Sap 等人，2022）？

首先，对该问题的评估受到标注通常进行方式的结构影响：如图 1 所示，标注遵循交叉分类结构，这意味着标注同时按项目和标注者分组（两个非嵌套因子）：每个项目由多个标注者标注，每个标注者标注多个项目。人们可以合理假设在这两个层面上都存在系统性变异。然而，大多数评估标注变异的研究并未考虑这一点，导致研究结果的可概括性和可比性有限。

其次，虽然上述分析方法为社区解决“谁”的问题提供了起点，但“什么”仍然 largely 被忽视。鉴于标注是语言组成各异的文本项目与标注者之间的互动过程，而标注者的身份比性别等单一社会人口统计学代理更为复杂（参见 Orlikowski 等人，2023），这一差距尤为值得注意。这可能导致标注者群体之间的差异，但仅针对某些文本项目。鉴于尚不清楚标注者级和项目级特征是否能预测标注行为，我们提议以原则性的方式分析未聚合数据，以揭示在处理主观任务中的标注变异时感兴趣的因素。我们认为，这是在训练或测试任何基于语言模型的系统之前至关重要的一步，因为它为我们可能希望包含在系统中的信息以及预期的模型行为提供了重要指引。

在这项工作中，我们进行了迄今为止最大规模的标注变异分析，涵盖了**四个**未聚合的有害沟通数据集，总共包含 >25k 个项目、>8k 名标注者和 >205k 个标注。我们同时考虑了标注者特征（多达 19 个）和项目特征（超过 300 个），以及标注者特征之间以及标注者与项目特征之间的交互作用。我们使用贝叶斯多层回归模型，从多达 5,264 个固定效应中找出最具影响力和相关性的效应。我们通过为标注者和项目包含随机截距来考虑部分交叉分类结构。在标注者方面，我们考虑了可用的社会人口统计学（例如年龄）和态度（例如标注者是否认为仇恨言论是一个问题）以及它们之间的双向交互作用。这允许评估交叉性效应。在项目方面，我们查看了特定领域的词汇信号，以及广泛的通用特征，范围从形态句法到心理语言学特征。为了评估谁在对什么的感知上存在差异，我们纳入了标注者与项目特征之间的交互作用。

我们在三种现实场景中进行了探索性分析<sup>222</sup>虽然这些场景是现实的，但它们部分受到计算资源和现有实现限制的影响（见附录 L & M）：

(i) 比较具有不同概念化、标注指南、项目和标注者的相关任务中的效应。这旨在发现相关现象中可能更普遍的效应（第 5 节）。  
(ii) 比较社会人口统计学相似的标注者群体：两个具有非常相似的标注者特征分布的标注者群体，使用相同的概念化和标注指南标注相同的项目。这可以视为模拟为已有标注的项目收集更多标注者（第 6 节）。  
(iii) 比较不同的批次集合。这可以视为使用相同的概念化和标注指南，但针对不同项目由不同标注者收集的数据集（第 7 节）。

我们的贡献有两方面：  
(1) 在方法论层面，我们对大型未聚合数据集进行了有原则的深入分析。我们讨论了分析每一步的相关问题、假设和决策。在此过程中，我们希望为在分析此类数据集时建立该领域的最佳实践做出贡献。  
(2) 在实质层面，据我们所知，我们首次从语言学、标注者-项目交互和交叉性角度对有害语言数据集的标注行为进行了评估。回答“谁标注什么”这一问题与多个 NLP 研究社区相关：有害语言检测社区受益于对这些参考数据集的分析，并可能在我们发现的效应模式中找到更多见解。人类标签变异社区可能受益于同时考虑“谁”和“什么”，以解开变异，但也用于有针对性的（重新）标注。最后，建模/内容审核社区受益于有关特定项目-标注者组合倾向差异的见解，以及识别潜在虚假混淆因素的见解。

## 2 相关工作

除了标注错误外，分类体系（Basile 等人，2021b；Uma 等人，2021；Zhang 等人，2023）确定了标注变异的三个高级来源：源于标注者、项目和标注指南及设置的原因。

在标注者方面，主观性以及社会人口统计学背景和态度的个体差异受到了特别关注。虽然一些研究发现居住国家（Lee 等人，2024）、种族（Larimore 等人，2021）、性别和年龄（Pei 和 Jurgens，2023）有显著影响，但另一些研究则未发现此类差异（Biester 等人，2022；Sap 等人，2022）。包含社会人口统计学信息的建模方法反映了这种混合画面（Wan 等人，2023；Orlikowski 等人，2023；Tahaei 和 Bergler，2024；Beck 等人，2024b；Orlikowski 等人，2025；Sun 等人，2025）。Homan 等人（2024）认为身份比单个人口统计学特征更复杂，因此他们研究了交叉性效应，并发现交叉性群体之间存在差异，特别是在**种族**和**性别**方面。

与标注者方面标注变异的潜在原因相比，关于项目方面原因的研究 largely 停留在理论层面。一个值得注意的例外是 Rizz 等人（2025），他们发现对于仇恨言论，某些词汇项目表明在有害语言中存在分歧。理论分类体系（Uma 等人，2021；Basile 等人，2021b）将项目难度、（缺失）上下文以及所有层面上的语言歧义，以及不常见的词、语码转换和新词列为标注变异的潜在原因。然而，他们并未进行广泛分析或考虑交互作用。对于在线毒性，Zhang 等人（2023）增加了特定领域的原因，如模糊的种族主义。此外，他们暗示了由于标注者和项目级因素相互作用而导致的原因，例如对词汇信号的敏感度不同。Sap 等人（2022）进一步关注与标注者和项目都相关的因素。他们分析了标注者方面的人口统计学和态度的影响，以及项目方面的方言差异。他们发现，与其他标注者群体相比，更保守的标注者对反黑人言论的毒性评分较低，但对非裔美国人英语项目的评分较高。类似地，Larimore 等人（2021）发现了标注者**种族**与种族化词汇信号（如 n-字）或敏感话题（如警察暴力）之间的交互作用。

**表 1：** 相关工作中所做的分析与我们工作的比较概览：他们是否考虑标注者特征和可解释的项目特征？对于基于回归的实验，他们是否通过随机截距考虑标注者和项目的变异？

##### 研究差距

基于这些发现，在这项工作中，我们将标注视为标注者和项目之间的互动过程。因此，我们不仅包括项目级和标注者级特征，还考虑这两个层级之间的交互作用。与相关研究相比，我们考虑了部分交叉分类的数据结构。在**什么**层面，我们既包括可假设指示该现象的特征（例如，该现象特有的词汇信号），也包括更广泛的与现象无关的特征（例如，词汇丰富度或不确定性标记）。后者可能指向更通用的标注变异语言指标。**表 1** 提供了先前工作和我们的工作之间关键分析差异的概览。

## 3 数据

我们使用了四个英语有害语言（仇恨言论、毒性和冒犯性语言）数据集，它们满足以下要求：(a) 未聚合的标注（即，可获得个别标注者的标签决策），(b) 标注者特征（社会人口统计学属性、态度），以及 (c) 细粒度标注（3-/5-点李克特量表）。

*   **CTDP**：由 Kumar 等人（2021）收集的用于多种视角有毒内容分类的语料库，由来自 Reddit、Twitter 和 4chan 的社交媒体评论组成，按 5 点量表标注冒犯性。它提供了标注者的性别、年龄、种族、政治、宗教重要性、LGBTQ+ 和父母状况特征。
*   **MHS**：衡量仇恨言论语料库（Sachdeva 等人，2022）由社交媒体评论组成，按 3 点量表标注仇恨言论。它提供了标注者的种族、性别、性取向、宗教、教育和收入特征，以及关于一般和项目特定态度的社交媒体和仇恨言论问卷。
*   **POPQUORN**：POPQUORN 语料库（Pei 和 Jurgens，2023）包含问答、冒犯性评分、文本重写/风格迁移和礼貌评分任务的标注。我们使用冒犯性评分部分，由按 5 点量表标注冒犯性的 Reddit 评论组成。它提供了标注者的性别、年龄、种族、政治、职业和教育特征。
*   **D3CODE**：D3CODE 数据集（Davani 等人，2024）包含按 5 点量表标注毒性的在线评论。它提供了标注者的性别、年龄、居住国家、地理文化区域、道德基础和感知社会经济地位特征。

## 4 方法

**标注者特征**：我们使用各自数据集中的所有标注者特征。

**语言特征**：为了评估项目侧的标注变异因素，我们使用通用语言特征和特定领域的词汇信号。我们使用 `elfen` (Maurer, 2026) 提取语言特征。总体而言，我们考虑了来自 11 个提供特征区域的 327 个特征。我们在附录 A 中提供了所用特征的完整概览。为了找到诸如粗俗或仇恨侮辱语等特定领域的词汇信号，我们使用了骚扰语料库（Rezvan 等人，2018）的英文部分。