Nurnberg NLP @ GermEval Shared Task 2026: 通过错误独立LLM投票器在德语社交媒体中检测有害内容

# 纽伦堡NLP团队参与GermEval 2026共享任务：通过独立错误LLM投票器检测德国社交媒体中的有害内容
来源：https://arxiv.org/html/2608.22246
###### 摘要

德国社交媒体中的有害内容造成现实危害，从煽动行动到刑事诽谤。GermEval 2026共享任务通过四个子任务评估其检测效果。技术挑战在于严重的类别不平衡：有害类别稀少且与占主导的多数类别在表面语言上相似，但在宏F1（macro-F1）评分下却决定了最终分数。因此，关键杠杆并非更强的单一模型，而是错误独立性。这一洞见催生了覆盖三个正交轴线（LLM、训练方法、类别范围）的子任务级九投票器集成系统。主要通过内部交叉验证选择后，该系统在隐藏测试集上达到89.56（C2A）、71.63（DBO）、54.84（VIO）和83.02（DEF）的宏F1值，在所有四个子任务中均排名第一。

## 1引言

社交媒体中的有害内容造成现实危害，包括行动号召（C2A）、对民主基本秩序的攻击（DBO）、暴力相关内容如颂扬（VIO）以及构成刑事犯罪的诽谤（DEF）（Zufall等人，2019）。GermEval 2026共享任务（Felser等人，2026）将这些内容分为四个子任务，通过宏F1值进行评估，数据来自一个右翼极端主义网络的匿名化德语推文。

每个子任务都存在占主导地位的类别（87%-97%）（表1），然而该指标对每个类别权重相等，因此稀有的有害类别决定了分数。这些类别难以识别的原因在于它们读起来相似：在DBO中，对政府的尖锐批评与针对国家的非法煽动行为界限模糊；VIO中的暴力类别在语用功能而非措辞上存在差异。因此，研究问题在于如何分离表面相似的稀有类别。

在该共享任务的首届赛事中（Felser等人，2025），最佳系统依赖于集成学习和少数类增强——这两种方法尤其成功。本文提出的系统结合了投票与增强机制，并基于投票器的错误独立性。核心假设（在分析部分将再次探讨）是：采用不同LLM和训练方法的投票器很少在同一条推文上失败，因此简单多数投票能够纠正单一投票器的错误（Dietterich，2000）。

子任务级投票器集成（类别范围轴）：
- 通才型（G）：覆盖所有子任务 · 领域知识
- 专才型（S）：单一子任务 · 清晰边界
- 第三分支：G、S或PCS（仅针对稀有类别）

投票器1至9的简单多数决策：
$$\hat{y} = \arg\max_{c} \sum_{j=1}^{9} \mathbf{1}[v_j = c]$$

图1：子任务级集成：三个范围分支，每个分支三个投票器，简单多数决策。五个LLM加入候选池：四个参数量在70亿到140亿之间，一个参数量达1280亿。经过优化的提示词设定了未训练基线，投票器则在4位QLoRA下进行微调，采用两种模式：生成式监督微调（SFT，以文本形式输出标签）和判别式分类头（ClsHead，从隐藏状态读取标签）。每个投票器基于三种类别范围之一进行训练：覆盖所有子任务的通才型（G）、专注于自身子任务的专才型（S），以及仅针对DBO和VIO的正类专才型（PCS）。通过五折交叉验证指导，三个最佳的模型-方法-范围组合各提供三个投票器（即一个分支），因此每个子任务的九个投票器通过简单多数投票决定每条推文的分类（图1）。这种投票机制能有效锐化语义相近类别间的模糊边界（Steigerwald等人，2026b），该系统在所有四个子任务中排名第一，并贡献了投票器架构和增强数据。

第2节回顾相关工作，第3节描述数据，第4节介绍系统，第5节报告隐藏测试集结果，第6节分析获胜集成，第7节得出结论。

## 2相关工作

相关工作可分为三个脉络：德语任务系列、集成与微调技术，以及其扩展的先前投票器集成。

### 2.1德语推文中的有害内容

除本任务系列外，有害内容检测有着广泛历史，从GermEval 2018的冒犯性语言共享任务（Wiegand等人，2018）到多语言HASOC赛道（Mandl等人，2019），Fortuna和Nunes（2018）对此进行了综述。本任务的子任务延伸了德语资源线，从DeTox语料库（Demus等人，2022）到人工标注的犯罪相关仇恨言论数据集（Kums等人，2025）。DEF遵循Zufall等人（2019）的法律框架。在上一届赛事中（Felser等人，2025），对德语和多语言模型进行的（Q）LoRA扫描中，ModernGBERT-1B在C2A任务获胜，德语原生LLäMmlein-7B在VIO任务获胜（Wunderle等人，2025）。其他系统在严重不平衡条件下微调编码器（Bullard，2025）或设计传统特征（Schwichtenberg，2025），而仅使用提示词的方法未能达到微调顶级系统的水平（Ludwig和Altmann，2025）。

### 2.2不平衡条件下的集成与微调

该集成基于错误独立性理论（Dietterich，2000），即多样化的投票器若犯不相关的错误，可通过多数投票纠正。集成在滥用语言检测中有着悠久历史，从仇恨言论的深度学习集成（Zimmerman等人，2018）到攻击性识别的Bagging BERT模型（Risch和Krestel，2020）。在上一届赛事中，DBO获胜者对三个BERT变体进行软投票（Köpcke，2025）。此类编码器集成的计算成本远低于LLM投票器。类别不平衡问题在数据侧或损失侧解决（Henning等人，2023）。数据侧处理从传统的少数类过采样（Chawla等人，2002）到LLM生成的合成少数类推文（Papadatos等人，2025在本任务系列中验证）。本系统兼顾两侧：使用合成少数类推文和聚焦损失（focal loss，Lin等人，2017），后者将损失向困难的少数类样本偏移。训练采用4位QLoRA（Dettmers等人，2023）。提示词基线遵循OPRO方法（Yang等人，2024），即LLM迭代生成提示词并在验证集上评分。

### 2.3多轴投票器集成

投票器池设计沿袭了先前的多轴投票器集成（Steigerwald等人，2026b），该集成将覆盖完整标签集的通才型与覆盖精简标签集的专才型配对，并从类别粒度、训练方法和LLM中提取投票器。其交叉验证折兼具投票器池和性能估计功能（Krogh和Vedelsby，1995），本次选择继承了这一规范。正类专才型是新举措，仅在非多数样本上训练。

## 3数据

共享任务（Felser等人，2026）提供了来自右翼极端主义网络的匿名化德语推文，针对四个独立子任务进行标注。C2A（行动号召）询问推文是否呼吁读者采取特定行动（无论是否违法）——这是动员的早期信号。DBO（民主基本秩序）在四个类别中评估推文对自由民主基本秩序的立场，其难点在于区分对政府的合法批评与非法煽动或颠覆性推翻呼吁。VIO（暴力）将暴力进入推文的方式分为六类：从作者自身的暴力倾向（propensity）到煽动暴力（call2violence）、支持（support）、颂扬（glorification）及其他（other）。DEF（诽谤）询问推文是否符合诽谤罪的刑法标准（《德国刑法典》第185-187条），而非仅是否令人感到冒犯。在DBO和VIO中，"无"（nothing）标签标记多数类别（即不表现这些现象的推文）。训练集包含23,829条推文，表1列出了各标签计数。四分之三的推文被标注用于两个或更多子任务，因此表1中各子任务的计数总和远超23,829。DEF的规模比其他三个子任务小一个数量级，且在DBO和VIO中，决定性的正类占比不足百分之一。

子任务 | 标签 | 训练集原始比例 | 增强后比例
---|---|---|---
C2A | false | 14,405 (90.9%) | — 90.9%
| true | 1,434 (9.1%) | — 9.1%
DBO | nothing | 13,818 (87.2%) | — 84.3%
| criticism | 1,839 (11.6%) | — 11.2%
| agitation | 143 (0.9%) | +400 → 3.3%
| subversive | 53 (0.3%) | +144 → 1.2%
VIO | nothing | 15,901 (96.8%) | — 88.5%
| propensity | 74 (0.5%) | +222 → 1.6%
| call2violence | 197 (1.2%) | +571 → 4.3%
| support | 102 (0.6%) | +306 → 2.3%
| glorification | 27 (0.2%) | +810 → 6.0%
| other | 130 (0.8%) | +355 → 2.7%
DEF | false | 2,848 (87.3%) | — 74.6%
| true | 415 (12.7%) | +555 → 25.4%

表1：各子任务标签计数。"原始比例"为增强前占比，"增强后比例"为增强后占比。为平衡此不平衡，我们使用GPT-5.4为少数类生成了2,634条合成推文（表1，+Aug），提示词包含完整类别体系和每类五个真实示例（附录E）。每类生成预算为 $\mathrm{aug}_c = \min\left(\text{target} - n_c, \, 3n_c\right)$，其中 $\text{target} = 1000$（一个远高于稀有类计数但远低于多数类的整数）。因此，稀有类将被提升至约一千个样本，除非其真实计数 $n_c$ 的三倍上限先行约束（这保证了合成推文最多占某类别的75%）。C2A未获得合成推文，因其正类已有1,434个样本，已超目标值。少数生成样本因格式错误或文本重复未能通过完整性检查而被丢弃，因此表1中的实际计数略低于此预算，且未通过重新生成进行补充。合成数据仅进入训练折，验证集和测试集保持人工标注。

## 4系统

该系统是投票器集成，每个子任务的九个投票器通过简单多数投票决定每条推文的标签（图1）。九个投票器组成三个*分支*：一个分支是三个共享相同LLM、训练方法和类别范围但训练折不同的投票器。其背后思想是不同模型犯不同错误，联合投票旨在锐化类别间语义模糊的边界。这九个投票器的构建基于一组核心概念，以下子节按递进顺序介绍组件——LLM、适配方法、类别范围及其训练所依赖的交叉验证协议——随后介绍组装它们的架构、投票器选择和投票规则。自然起点是LLM的选择。

### 4.1模型

模型轴涵盖五个不同家族、规模和训练范式的LLM，因此为候选池注入了真正不同的归纳偏置。Ministral-8B-Instruct（Mistral AI，2024）和Phi-4-14B（Abdin等人，2024）是80亿和140亿参数的通用指令微调模型，被选为强大全能选手，曾在类似德语分类任务中领先我们的多轴投票器集成（Steigerwald等人，2026b）。LLäMmlein-7B（Pfister等人，2025）是德语原生模型，其预训练最贴近推文。它以两个变体参与：基础模型（LLaM-B）和聊天微调模型（LLaM-I）。加入一个更大的模型以测试原始参数量能走多远，以及相比紧凑模型增加多少价值：Mis128B（Mistral-Medium-3.5，1280亿参数，Mistral AI，2025），它也作为提示词搜索的优化器。所有模型均以4位量化运行，完整推文始终不截断输入。以此方式量化后，紧凑投票器推理需5-10GB GPU显存，1280亿模型需70-85GB。投票器独立，因此集成可顺序回答（由最大投票器决定峰值显存）或完全并行（九个投票器显存总和）——九个紧凑投票器需50-75GB，包含1280亿分支的组合需240-530GB。LLM如何转化为分类器是下一个选择：适配方法。

### 4.2适配方法

研究了三种监督强度递增的适配方法。提示词工程是基线，而两种训练模式——生成式监督微调（SFT）和判别式分类头（ClsHead）——构成了集成。

#### 提示词工程（OPRO）

每个模型获得由OPRO（Yang等人，2024）优化的系统提示词。在此循环中，Mis128B模型生成候选提示词，目标模型逐一尝试，对每类10-20条训练推文的类别平衡样本进行分类。得分更高的宏F1提示词进入下一轮，最佳提示词成为模型的基线提示词。提示词无需训练，为训练方法设定了必须超越的标杆。

#### SFT（生成式）

模型微调为从包含完整类别定义的德语任务提示词（附录D）中以文本形式输出类别标签。

#### ClsHead（判别式）

在QLoRA适配模型的最后token隐藏状态上，训练一个两层分类头，使用聚焦损失和逆频率类别权重，直接对抗不平衡。

两种训练模式均使用4位NF4 QLoRA（Dettmers等人，2023）...