基于Transformer模型的多语言极化检测：类别加权与阈值调优

# Aaron 在 SemEval-2026 任务 9：使用基于 Transformer 的模型结合类别加权与阈值调优进行多语言极化检测
来源：https://arxiv.org/html/2606.30857
Aaron Bundi Anampiu 非洲数学科学研究所，南非 aaronbundi@aims\.ac\.za

###### 摘要

本文描述了我们在 SemEval-2026 任务 9 上的提交方案，该任务旨在检测多语言、多文化、多事件的在线极化现象。我们处理所有三个子任务：二值极化检测、极化类型分类以及极化表现识别（英语和斯瓦希里语）。我们的方法采用基于 Transformer 的模型（英语使用 RoBERTa-base，斯瓦希里语使用 AfroXLMR-base），并结合类别加权损失函数以应对严重的标签不平衡问题，以及针对每个标签的阈值调优以优化多标签分类。在测试集上，我们在子任务 1 上取得了 0.7901（英语）和 0.7910（斯瓦希里语）的宏 F1 分数，子任务 2 上为 0.4615（英语）和 0.4808（斯瓦希里语），子任务 3 上为 0.4791（英语）和 0.5830（斯瓦希里语），在排行榜上表现出竞争力，证明了我们方法在处理不平衡多标签极化检测任务中的有效性。我们的错误分析表明，模型在非人化检测和缺乏同理心方面存在困难。

Aaron 在 SemEval-2026 任务 9：使用基于 Transformer 的模型结合类别加权与阈值调优进行多语言极化检测

Aaron Bundi Anampiu
非洲数学科学研究所，南非
aaronbundi@aims\.ac\.za

## 1 引言

社交媒体平台已成为公共话语的核心空间，使数百万用户能够分享观点、参与辩论并形成社群。然而，这些平台也见证了极化内容和信息的令人担忧的增长，这些内容按照意识形态、政治、种族、宗教或其他界限分裂受众 Grover 等人 (2019 (https://arxiv.org/html/2606.30857#bib.bib9))。

极化带来了重大的社会挑战。它放大了回音室效应，减少了建设性对话，可能引发现实世界的冲突，并对边缘化社群造成不成比例的影响 Conover 等人 (2011 (https://arxiv.org/html/2606.30857#bib.bib5))。因此，自动检测极化内容对于内容审核、理解激进化机制以及促进更健康的在线讨论至关重要。

SemEval-2026 任务 9 Naseem 等人 (2026a (https://arxiv.org/html/2606.30857#bib.bib13)) 通过三个子任务应对这一挑战：(1) 极化的二值检测，(2) 极化类型（政治、种族/民族、宗教、性别/性取向、其他）的多标签分类，以及 (3) 极化表现（刻板印象、诋毁、非人化、极端语言、缺乏同理心、否定）的多标签识别。该任务涵盖来自包括新闻网站、Reddit、博客和区域论坛在内的多种平台的22种语言。

我们专注于英语和斯瓦希里语，采用基于 Transformer 的方法，包含三个关键贡献：(1) 语言特定模型选择（英语使用 RoBERTa Liu 等人 (2019 (https://arxiv.org/html/2606.30857#bib.bib11))，斯瓦希里语使用 AfroXLMR base Alabi 等人 (2022 (https://arxiv.org/html/2606.30857#bib.bib2))），(2) 类别加权损失函数以应对多标签任务中的严重标签不平衡，以及 (3) 针对每个标签的阈值调优以优化分类边界。我们的系统在所有子任务上均取得了强劲表现。在子任务3上，我们在16个参赛团队中斯瓦希里语排名第二。

## 2 背景与相关工作

### 2.1 任务描述

SemEval-2026 任务9 为每种语言提供了3000到5000个标注实例 Naseem 等人 (2026b (https://arxiv.org/html/2606.30857#bib.bib14))，涵盖选举、冲突、性别权利和移民等主题。

#### 子任务1

（二值检测）根据上下文和整体含义将文本分类为极化或非极化。

#### 子任务2

（类型分类）识别五种极化类型：政治/意识形态、种族/民族、宗教、性别/性取向和其他（多标签）。

#### 子任务3

（表现识别）分类六种表现：刻板印象、诋毁、非人化、极端语言、缺乏同理心和否定（多标签）。

### 2.2 相关工作

以往关于检测有害在线内容的工作主要集中在仇恨言论 Fortuna and Nunes (2018 (https://arxiv.org/html/2606.30857#bib.bib8))、有毒评论 Wulczyn 等人 (2017 (https://arxiv.org/html/2606.30857#bib.bib16)) 和攻击性语言 Zampieri 等人 (2019 (https://arxiv.org/html/2606.30857#bib.bib17))。这些任务与极化检测有相似之处，但在重要方面有所不同。早期方法使用传统机器学习与手工特征 Davidson 等人 (2017 (https://arxiv.org/html/2606.30857#bib.bib6))，包括 n-gram、情感词典和语言模式。最近的工作采用了深度学习，Badjatiya 等人 (2017 (https://arxiv.org/html/2606.30857#bib.bib3)) 证明了使用词嵌入的 LSTM 显著优于传统方法。Devlin 等人 (2019 (https://arxiv.org/html/2606.30857#bib.bib7)) 展示了基于 BERT 的模型在仇恨言论基准上取得了更好的结果。

多语言预训练模型的发展使得跨语言的有效迁移成为可能。mBERT Devlin 等人 (2019 (https://arxiv.org/html/2606.30857#bib.bib7)) 和 XLM-RoBERTa Conneau 等人 (2020 (https://arxiv.org/html/2606.30857#bib.bib4)) 展示了强大的零样本跨语言迁移能力。然而，这些模型主要在高资源语言上训练，可能在非洲语言上表现不佳。

最近的工作开发了专门针对非洲语言的语言模型。AfriBERTa Ogueji 等人 (2021 (https://arxiv.org/html/2606.30857#bib.bib15)) 和 AfroXLMR Alabi 等人 (2022 (https://arxiv.org/html/2606.30857#bib.bib2)) 在多样化的非洲语言语料库（包括斯瓦希里语）上进行了预训练，并在非洲 NLP 任务上表现优于通用多语言模型。基于这些发现，我们为斯瓦希里语采用 AfroXLMR。

## 3 系统概述

我们的流程包含四个组件：预处理、模型架构、使用类别加权损失的训练以及训练后阈值调优。图1 (https://arxiv.org/html/2606.30857#S3.F1) 展示了完整的流程。

图1：完整系统架构流程，展示四个主要组件：预处理、模型架构（语言特定 Transformer）、使用类别加权损失的训练以及训练后阈值调优。该流程适用于所有三个子任务。

### 3.1 数据预处理

我们进行最小化预处理：保留原始大小写，保留可能暗示极化的表情符号和特殊字符，仅移除控制字符和空字节。使用分层采样按80/20比例将数据分为训练集和验证集，以保持类别分布。

### 3.2 模型架构

#### 英语模型：

基于消融实验结果（表6 (https://arxiv.org/html/2606.30857#S5.T6)），我们选择 RoBERTa-base Liu 等人 (2019 (https://arxiv.org/html/2606.30857#bib.bib11))（1.25亿参数）而非 BERT 和 XLM-RoBERTa：其动态掩码和移除下一句预测带来了最佳的英语特定性能，而 XLM-RoBERTa 的多语言预训练稀释了英语特定表示。

#### 斯瓦希里语模型：

AfroXLMR-base Alabi 等人 (2022 (https://arxiv.org/html/2606.30857#bib.bib2))（2.7亿参数）通过在多样化非洲语言语料库上的持续预训练，专门针对非洲语言进行了适配。它在斯瓦希里语任务上显著优于 mBERT 和 XLM-RoBERTa 等多语言替代方案 Adelani 等人 (2022 (https://arxiv.org/html/2606.30857#bib.bib1))。

#### 分词：

英语使用 RoBERTa 的字节级 BPE 分词器（5万词汇量）；斯瓦希里语使用 AfroXLMR 的 SentencePiece 分词器（25万词汇量）。子任务1的最大序列长度为128个token，子任务2-3为256个token。

#### 分类头：

一个 dropout 层（比率0.1）后接一个线性层，将768维嵌入映射到子任务1、2和3的2、5或6个输出logits。

### 3.3 类别加权损失函数

为解决严重的标签不平衡问题，我们实现类别加权二元交叉熵损失，标签 \(j\) 的正类权重计算如下：

\[ w_j = \frac{n_{\text{neg}}^j}{n_{\text{pos}}^j} \] (1)

其中 \(n_{\text{neg}}^j\) 和 \(n_{\text{pos}}^j\) 分别是标签 \(j\) 的负样本和正样本计数。这会增加对少数类误分类的惩罚。对于子任务2英语，权重范围从1.73（政治）到41.95（性别/性取向），反映了与性别相关的极化极其罕见。

斯瓦希里语子任务2的权重达到48.05（性别/性取向）。训练损失曲线未显示任何不稳定；作为预防措施，全程应用了梯度裁剪（最大范数1.0）。

### 3.4 阈值调优

训练后，我们在验证集上对每个标签进行阈值搜索，扫描 \([0.1, 0.9]\)，步长0.05，以最大化每个标签的宏F1。相比于标准0.5阈值，这使宏F1提升了0.87至5.98个百分点。

### 3.5 训练配置

我们使用 AdamW Loshchilov and Hutter (2019 (https://arxiv.org/html/2606.30857#bib.bib12))（学习率2e-5，权重衰减0.01），并采用线性预热调度，这是微调 Transformer 的标准优化器。子任务1的批次大小为16，子任务2-3的批次大小为8，并配合梯度累积（×2）以适应256 token序列在15 GB GPU内存中。我们训练5-8个epoch，基于验证集宏F1进行早停（耐心为2），通过 Google Colab 在单GPU上使用FP16混合精度。所有实验固定随机种子为42。

## 4 实验设置

### 4.1 数据划分

我们使用提供的训练/开发集划分。训练数据进一步按80/20比例分层采样（子任务1使用二值标签；子任务2-3使用标签计数分层）。测试集仅用于最终评估。

### 4.2 评估指标

所有子任务均使用宏F1作为主要指标。我们将系统与两个基线进行比较：(i) POLAR 基线，以及 (ii) 统一应用于所有语言且无类别加权的 mBERT 微调基线。表1 (https://arxiv.org/html/2606.30857#S4.T1) 总结了这一比较。

表1：与 POLAR 基线的测试宏F1比较。ST = 子任务，EN = 英语，SW = 斯瓦希里语。我们的系统在所有子任务和语言上均持续优于两个基线。

### 4.3 实现

我们使用 Hugging Face Transformers 4.30.0、PyTorch 2.0 和 scikit-learn 1.3.0 实现系统。

## 5 结果

### 5.1 主要结果

表2 (https://arxiv.org/html/2606.30857#S5.T2) 展示了所有子任务的结果。

表2：验证集和测试集上的 F1 macro 分数。粗体表示用于 codabench 排名的官方测试分数。

#### 子任务1

取得了我们最强的性能（英语0.7901，斯瓦希里语0.7910）。斯瓦希里语略优于英语，可能因为其类别分布更平衡（斯瓦希里语中50.1%为极化，英语中为36.5%）。我们在此子任务上斯瓦希里语排名34支队伍中的第11，英语排名44支队伍中的第24。

#### 子任务2

由于极度不平衡和多标签复杂性带来挑战。我们取得了英语0.4615和斯瓦希里语0.4808的成绩；斯瓦希里语排名22支队伍中的第10，英语排名29支队伍中的第17。斯瓦希里语受益于更平衡的标签分布和 AfroXLMR 更强的多语言能力。

#### 子任务3

产生了我们最具竞争力的结果：英语0.4791，斯瓦希里语0.5830。我们在此子任务上斯瓦希里语排名16支队伍中的第2，英语排名18支队伍中的第10。

验证集与测试集之间的差距范围为2.29到10.58个百分点。最大差异出现在子任务3英语（4.35个百分点）。我们将其归因于两个叠加因素：(i) 阈值过拟合——每个标签的阈值在单个20%验证划分上优化，使其对该划分的特定标签分布敏感；(ii) 领域偏移——测试集可能包含训练集中未充分代表的平台或事件文本。交叉验证进行阈值选择是一种自然的缓解方法，但会显著增加计算时间。

### 5.2 每个标签的分析

表3 (https://arxiv.org/html/2606.30857#S5.T3) 和表4 (https://arxiv.org/html/2606.30857#S5.T4) 展示了每个标签的F1分数。

表3：子任务2验证集每个标签的F1。
表4：子任务3验证集每种表现的F1。

英语在政治极化方面表现优异（0.6682 对比 0.3256），而斯瓦希里语在种族/民族检测方面占优（0.7972 对比 0.5082），反映了语料库构成（斯瓦希里语中35.5%为种族/民族，英语中为8.7%）。性别/性取向和其他类别对两种语言仍然困难（F1 < 0.33），由于极度稀少（占样本的2-4%），仅靠类别加权是不够的。

非人化普遍具有挑战性（英语0.4453，斯瓦希里语0.3241），需要细微的语义理解来区分隐喻性和显性的非人化。

### 5.3 消融研究

表5 (https://arxiv.org/html/2606.30857#S5.T5) 展示了类别加权对子任务2英语的影响。不加权时，模型对少数标签预测不足（宏F1为41.23%）。类别加权使宏F1提升+5.98个百分点，微F1提升+11.52个百分点；稀有标签（宗教、性别/性取向、其他）获得10-15个F1百分点，而常见标签保持稳定。

为简洁起见，我们主要在英语上进行了消融。定性上，我们在斯瓦希里语中观察到类似趋势：类别加权持续减少了稀有标签的假阴性，这与之前关于不平衡分类的工作一致 Johnson and Khoshgoftaar (2019 (https://arxiv.org/html/2606.30857#bib.bib10))。

表5：子任务2英语类别加权消融。
表6 (https://arxiv.org/html/2606.30857#S5.T6) 比较了英语子任务1的模型架构。RoBERTa-base 优于 BERT 2.58%，证明了我们的模型选择合理。XLM-RoBERTa 尽管规模更大但表现不佳，证实了多语言预训练稀释了英语特定表示。

表6：英语子任务1模型比较。Δ = 与最佳模型的差距。

### 5.4 错误分析

我们从每个子任务中随机抽取100个错误样本进行分析，以识别失败模式。

#### 子任务1：

假阳性来自被误分类为极化的中性政治标题（例如，“参议院在两党支持下通过基础设施法案”）和夸张的体育评论（例如，“湖人队将摧毁凯尔特人队”）。模型将强烈语言与极化混淆。

#### 子任务2：

多标签歧义是主要的失败模式（例如，政治声明中的种族色彩被遗漏）。尽管有类别加权，性别/性取向标签（出现频率2.2%）很少被预测。

#### 子任务3：

非人化是最难的表现（占错误的31%）。缺乏同理心检测需要超越标准 Transformer 能力的心理理论推理。

## 6 结论

我们提出了一个基于 Transformer 的系统，结合了语言特定模型选择、类别加权损失和每个标签的阈值调优，用于多语言极化检测。我们的系统在所有子任务和语言上均优于 POLAR 基线和 mBERT 基线，在子任务3斯瓦希里语上排名第二。关键错误模式——政治主题混淆、多标签歧义和语用