多语言仇恨言论检测的训练时可解释性：对齐模型推理与人类理据

# 多语言仇恨言论检测的训练时可解释性：使模型推理与人类合理解释对齐  
来源：https://arxiv.org/html/2608.26125  
M·D·M·库雷希† 都柏林科技大学 [email protected] & 萨南·汗† 国立科技大学 [email protected] & M·阿提夫·库雷希 都柏林科技大学 [email protected] & 韦尔·拉什万 梅努斯大学 [email protected]  

###### 摘要  

针对穆斯林社区的在线仇恨言论常以文化编码、多语言形式出现，规避了传统AI审核的监测。这类系统虽然准确，但缺乏透明度，存在偏见、过度审查或审核不足的风险，尤其当其脱离社会文化语境时。我们提出一种*训练时*可解释性框架，使模型推理与人类标注的合理解释对齐，从而提升分类性能与可解释性。我们的方法在HateXplain（英语）和BullySent（印地语-英语混合语）数据集上进行评估，这两种语言均反映了反穆斯林仇恨的普遍性。通过使用LIME、集成梯度、梯度×输入和注意力机制，我们评估了准确性、解释质量及跨方法一致性。结果表明，基于梯度和注意力的正则化提升了F分数、增强了合理性与忠实度，并能捕捉检测隐性反穆斯林仇恨所需的文化特定线索，为多语言、具备文化感知的内容审核提供了可行路径。  

## 1引言  

针对穆斯林社区的在线仇恨言论常以微妙、隐晦或文化编码的形式出现，通常通过多语言或语码转换（如印地语-英语混合语）表达。这些复杂性挑战着内容审核系统，既可能导致*审核不足*（允许有害叙事持续传播），也可能导致*过度审查*（压制合理的宗教或文化表达）Gillespie（2018 [链接]）；Nobata等人（2016 [链接]）。鉴于此类内容在英语和南亚网络空间中的普遍性，应对此类内容对于保障穆斯林及全球数字安全与包容性至关重要。  

尽管基于Transformer的系统准确率较高，但它们缺乏透明度，且存在强化偏见的风险Udupa等人（2023 [链接]）；Siapera（2022 [链接]），尤其是当其脱离社会文化语境时。对于穆斯林社区及其他代表性不足的群体而言，这些缺陷可能加剧伤害，并侵蚀对AI审核的信任。  

可解释AI（XAI）提供了透明度Abdul等人（2018 [链接]），但事后应用的方法很少影响模型的学习过程，限制了其生成忠实、具文化感知解释的能力Floridi等人（2018 [链接]）；Sambasivan等人（2021 [链接]）；Qureshi等人（2023 [链接]，2025 [链接]）。  

我们通过一个多语言的、基于训练时的XAI正则化框架解决了这一缺口，使模型推理与人类合理解释对齐。利用RoBERTa和XLM-R分类器，以及四种解释策略——LIME Ribeiro等人（2016 [链接]）、集成梯度Sundararajan等人（2017 [链接]）、梯度×输入Shrikumar等人（2016 [链接]）和注意力机制Bahdanau等人（2014 [链接]）——我们引导模型关注具有语言学和文化意义的特征。我们在HateXplain（英语）和BullySent（印地语-英语混合语）上的评估表明，该方法在跨语言检测隐性反穆斯林仇恨方面具有泛化能力。  

贡献：(1) 一个将推理与人类合理解释对齐的训练时XAI正则化框架；(2) 四种集成XAI方法的比较评估；(3) 扩展至多语言、语码转换场景；(4) 对合理性、忠实度及跨方法一致性的分析，突出了对隐性、文化编码的反穆斯林仇恨检测的改进；(5) 证据表明基于梯度和注意力的正则化在准确性、解释质量和效率之间提供了最佳平衡。代码和数据见 https://github.com/DeedahwarMazhar/NeurIPS-MulsimsInML-TrainingTimeReg  

## 2方法  

### 2.1数据集与预处理  

我们在两个文化和语言上不同的数据集上进行评估，以测试单语和多语性能。  

**HateXplain** Mathew等人（2021 [链接]）包含约2万条英语社交媒体帖子（Twitter，Gab），标注为仇恨、冒犯性或正常，并包含多标注者的词元级合理解释。遵循先前工作，仇恨和冒犯性类别合并为*有害内容*类，其中15%的帖子明确针对穆斯林。  

**BullySent** 是来自印度社交媒体的印地语-英语混合语网络欺凌数据集，包含约6500条帖子。虽然未明确标记反穆斯林仇恨，但它标注了基于宗教的仇恨，可作为南亚语境的相关代理数据（在该语境下，印地语-英语混合语是主要的非正式在线交流媒介）Bhange和Kasliwal（2020 [链接]）。为保持可比性，所有标签统一为：*有害*（如仇恨、冒犯、欺凌）与*无害*内容。  

### 2.2模型架构  

我们采用两个Transformer编码器以匹配每个数据集的语言特征：用于HateXplain（英语）的RoBERTa-base，以及用于BullySent（印地语-英语混合语）的XLM-RoBERTa-base。每个编码器后接一个Dense ReLU层、0.3的dropout层和一个sigmoid输出。模型使用Adam优化器，学习率为2×10⁻⁵。  

### 2.3基于训练时解释的正则化  

我们的训练将二元交叉熵损失增强为一个解释对齐项，仅在金标准标签为*有害内容*时应用。  

分类损失为：  

\(Loss_{BCE} = -\frac{1}{N}\sum_{i=0}^{N} y_t \log(y_p) - (1 - y_t) \log(1 - y_p)\) (1)  

其中\(y_t\)是真实标签，\(y_p\)是预测概率。  

令\(rat(i)\)和\(exp(i)\)分别表示文本输入中每个项\(i\)的归一化合理解释分数和解释分数。我们将词元级解释分数聚合到单词级别，以确保与人类标注的合理解释兼容。解释损失为：  

\(Loss_{EXP}(rat \parallel exp) = \sum_{i} rat(i) \log\left(\frac{rat(i)}{exp(i)}\right)\) (2)  

总损失为：  

\(Loss_{COMP} = Loss_{BCE} + \lambda Loss_{EXP}(rat \parallel exp)\) (3)  

其中\(\lambda \in \{0.001, 0.005, 0.01, 0.05, 0.1, 0.5, 1, 5, 10\}\)通过验证集F1分数和早停法调整。  

算法1（[链接]）总结了该过程。我们使用未正则化的模型作为比较基线。  

**输入**：训练集 \(D = \{(x_i, y_i, rat_i)\}_{i=1}^{N}\)，XAI方法\(E\)，正则化权重\(\lambda\)  
**输出**：训练好的模型 \(f_{\theta}\)  

1: for *每个epoch* do  
2:   for *每个批次 \((x, y, rat)\) in \(D\)* do  
3:     \(y_p \leftarrow f_{\theta}(x)\)； // 前向传播  
4:     \(Loss_{BCE} \leftarrow \text{BinaryCrossEntropy}(y, y_p)\)  
5:     if *\(y == 1\)* then  
6:       \(exp \leftarrow E(f_{\theta}, x)\)； // 生成解释  
7:       if *\(exp\)是词元级* then  
8:         \(exp \leftarrow \text{ConvertTokenToWord}(exp)\)； // 聚合单词分数  
9:       end if  
10:      \(Loss_{EXP} \leftarrow \text{KL}(rat \parallel exp)\)； // 解释损失  
11:    end if  
12:    \(Loss_{COMP} \leftarrow Loss_{BCE} + \lambda \cdot Loss_{EXP}\)  
13:    \(\theta \leftarrow \theta - \eta \cdot \nabla_{\theta} Loss_{COMP}\)； // 反向传播  
14:  end for  
15:  if *在验证集上满足早停准则* then  
16:    break  
17: end for  

**算法1** 基于解释的正则化训练过程  

### 2.4 XAI方法  

我们比较了四种互补的解释策略，涵盖模型无关和模型特定范式：  

- • **LIME** Ribeiro等人（2016 [链接]）：模型无关、基于扰动；通过掩蔽词元拟合稀疏线性代理模型。为保持效率，将\(n\_samples\)限制为128。  
- • **集成梯度（IG）** Sundararajan等人（2017 [链接]）：从零嵌入基线到输入，分15步积分梯度，捕捉非线性依赖关系。  
- • **梯度×输入（GXI）** Shrikumar等人（2016 [链接]）：将词元嵌入与其梯度相乘，通过一次反向传播估计局部特征敏感性。  
- • **注意力** Bahdanau等人（2014 [链接]）：使用跨注意力头的最终层平均注意力权重作为词元重要性；虽不总是忠实，但内部一致，适合正则化。  

### 2.5事后解释评估  

我们通过比较事后归因与人类标注的合理解释来评估XAI方法。分数归一化为词元上的概率分布，子词归因（IG、GXI、注意力）在对齐前被合并到单词级别。单词分数使用以下方法二值化为合理解释掩码：  

1.  **Top-K**：选择最高的\(K \in \{3, 5, 7, 10, 15, 20, 25\}\)个词元（LIME：\(K \leq 10\)）。  
2.  **阈值化**：选择分数\(> \theta \in \{0.001, 0.005, 0.01, 0.05, 0.1, 0.5\}\)的词元。  

人类合理解释通过*并集*策略聚合。  

我们报告：  

- • **合理性**：*IoU*（重叠比例）和*词元-F1*（词元级精确率-召回率）与人类合理解释的比较。  
- • **忠实度**：*预测下降*——移除已识别词元后的置信度下降。  

这种词元级对齐捕捉了细粒度的语言/上下文线索，比较Top-K与阈值化突出了固定长度与可变长度合理解释之间的权衡。  

## 3结果与讨论  

**表1**：分类与XAI综合性能。HX = HateXplain，BS = BullySent。性能指标 = 准确率，F1。IoU和词元-F1衡量合理性；Drop衡量忠实度。每个指标的最佳得分（HX和BS）以粗体显示。[表1（链接）]报告了HateXplain（HX）和BullySent（BS）的分类（准确率，F1）、合理性（IoU，词元-F1）和忠实度（预测下降）。  

**分类**：注意力机制获得最佳整体F1（HX：0.84，BS：0.85）和最高BS准确率（0.86）。LIME和IG在HX上表现有竞争力，而GXI效率高但准确率略低。  

**合理性**：在HX上，注意力机制在IoU/词元-F1（0.38/0.60）方面领先，IG次之。在BS上，LIME获得最佳Top-K合理性（IoU 0.27，词元-F1 0.45），表明扰动方法比注意力或梯度更好地捕捉了印地语-英语混合语的线索。  

**忠实度**：IG在两个数据集上均产生最大下降（HX：0.72/0.74；BS：0.82），表明其具有强因果关联。GXI在BS上表现良好，而LIME的下降保持较低。基于梯度的方法在跨语言时更稳健地传递了忠实度，而合理性则因数据集和二值化策略而异。  

**图1**：XAI方法间的Kendall一致性相关性（\(\tau\)）热力图（左）；四个XAI方法在两个代码转换仇恨言论示例上的词元级归因定性比较（右）。  
[图1（链接）]展示了XAI方法之间的Kendall \(\tau\)（左），显示基于梯度的方法之间相关性更高，与LIME存在分歧。两个代表性代码转换仇恨言论示例的定性词元级归因（右）说明了特定方法的高亮模式。  

**跨方法一致性**：我们使用适合比较有序词元归因的Kendall \(\tau\)衡量相似度。图1(a)（[链接]）显示注意力与GXI之间对齐度最高（≈0.45），注意力-IG和GXI-IG得分中等，而LIME因其词元级归因呈现接近零或负相关。  

**定性比较**：图1(b)（[链接]）可视化了一个代表性帖子使用不同XAI方法的词元级高亮。基于梯度的方法常标记复合词内的子词单元，从而能更细粒度地检测具有文化特异性或冒犯性的表达。相比之下，基于扰动的方法倾向于在整词层面操作，可能忽略嵌入的线索。  

## 4结论  

我们提出了一种训练时可解释性框架，将人类对齐的合理解释嵌入仇恨言论分类器，提升了英语和印地语-英语混合语数据集的合理性和忠实度。结果表明，基于梯度和注意力的正则化在跨语言时泛化良好，能捕捉基于扰动的方法常遗漏的文化特定线索，为更负责任的多语言审核提供了可行路径。  

## 致谢  

本出版物源于在爱尔兰研究（RI）机器学习研究中心训练中心（ML-Labs）资助下进行的研究，资助号为18/CRT/6183。对于开放获取，作者已对此提交产生的任何作者接受稿版本应用CC BY公共版权许可。  

## 参考文献  

- \[1\] A. Abdul, J. Vermeulen, D. Wang, B. Y. Lim, and M. Kankanhalli (2018) Trends and trajectories for explainable, accountable and intelligible systems: an hci research agenda. In Proceedings of the 2018 CHI conference on human factors in computing systems, pp. 1–18. Cited by: §1 [链接]。  
- \[2\] D. Bahdanau, K. Cho, and Y. Bengio (2014) Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473. Cited by: Appendix A [链接], §1 [链接], 4th item [链接]。  
- \[3\] E. Balkir, I. Nejadgholi, K. C. Fraser, and S. Kiritchenko (2022) Necessity and sufficiency for explaining text classifiers: a case study in hate speech detection. arXiv preprint arXiv:2205.03302. Cited by: Table 2 [链接]。  
- \[4\] M. Bhange and N. Kasliwal (2020) Hinglishnlp: fine-tuned language models for hinglish sentiment detection. arXiv preprint arXiv:2008.09820. Cited by: §2.1 [链接]。  
- \[5\] S. Carton, S. Kanoria, and C. Tan (2021) What to learn, and how: toward effective learning from rationales. arXiv preprint arXiv:2112.00071. Cited by: Appendix A [链接]。  
- \[6\] A. Conneau, A. Baevski, R. Collobert, A. Mohamed, and M. Auli (2020) Unsupervised cross-lingual representation learning for speech recognition. arXiv preprint arXiv:2006.13979. Cited by: Appendix A [链接]。  
- \[7\] T. Davidson, D. Warmsley, M. Macy, and I. Weber (2017) Automated hate speech detection and the problem of offensive language. In Proceedings of the International AAAI Conference on Web and Social Media, volume 11, pp. 512–515. Cited by: §1 [链接]。  
- \[8\] T. Gillespie (2018) Custodians of the internet: Platforms, content moderation, and the hidden decisions that shape social media. Yale University Press. Cited by: §1 [链接]。  
- \[9\] A. Qureshi, M. D. M. Qureshi, A. J. Pani, and F. Chen (2023) Towards explainable and fair hate speech detection: a framework for human-in-the-loop evaluation. arXiv preprint arXiv:2307.11732. Cited by: §1 [链接]。  
- \[10\] M. Siapera (2022) Content moderation and the role of algorithms. In Handbook of Digital Communication, pp. 275–292. De Gruyter Mouton. Cited by: §1 [链接]。  
- \[11\] N. T. Vidgen and D. Derczynski (2020) Directions in abusive language training data, a systematic review: Garbage in, garbage out. arXiv preprint arXiv:2010.11489. Cited by: §1 [链接]。  
- \[12\] H. Wehrmann, R. Cerri, and R. Barros (2018) Hierarchical multi-label classification networks. In Proceedings of the 35th International Conference on Machine Learning, pp. 5075–5084. Cited by: §1 [链接]。