动荡回响：用于假新闻与暴力驱动暴乱活动早期预警的多模态NLP框架

# Taylor and Francis 图书章节
来源：https://arxiv.org/html/2607.02734
###### 目录

1. 0 不安的回响：用于假新闻和暴力驱动群体活动早期预警的多模态 NLP 框架 (https://arxiv.org/html/2607.02734#id2)1. 1 引言 (https://arxiv.org/html/2607.02734#Ch0.S1) 2. 2 相关工作 (https://arxiv.org/html/2607.02734#Ch0.S2)1. 1 基于文本的方法 (https://arxiv.org/html/2607.02734#Ch0.S2.SS1) 2. 2 多模态方法 (https://arxiv.org/html/2607.02734#Ch0.S2.SS2) 3. 3 地理空间意识在识别虚假信息中的应用 (https://arxiv.org/html/2607.02734#Ch0.S2.SS3) 3. 3 材料与方法 (https://arxiv.org/html/2607.02734#Ch0.S3)1. 1 数据集 (https://arxiv.org/html/2607.02734#Ch0.S3.SS1) 2. 2 用户分析与设计考虑 (https://arxiv.org/html/2607.02734#Ch0.S3.SS2) 3. 3 提出方法 (https://arxiv.org/html/2607.02734#Ch0.S3.SS3) 4. 4 架构开发 (https://arxiv.org/html/2607.02734#Ch0.S3.SS4) 4. 4 实验结果与讨论 (https://arxiv.org/html/2607.02734#Ch0.S4)1. 1 实验设置 (https://arxiv.org/html/2607.02734#Ch0.S4.SS1) 2. 2 性能评估 (https://arxiv.org/html/2607.02734#Ch0.S4.SS2) 5. 5 结论与未来工作 (https://arxiv.org/html/2607.02734#Ch0.S5)
2. 参考文献 (https://arxiv.org/html/2607.02734#bib)

\chapterauthor
Md. Maruf Bangabashi，计算机科学与工程系，达卡国际大学，达卡-1212，孟加拉国。\chapterauthor
Tahmid Hasan，计算机科学与工程系，孟加拉国工程技术大学，达卡-1000，孟加拉国。\chapterauthor
Golam Mahmud，计算机科学与工程系，达卡国际大学，达卡-1212，孟加拉国。\chapterauthor
Md. Mostafijur Rahman，计算机科学与工程系，达卡国际大学，达卡-1212，孟加拉国。\chapterauthor
Md. Toufiqur Rahman，计算机科学与工程系，达卡国际大学，达卡-1212，孟加拉国。\chapterauthor
Jahanur Biswas\*，计算机科学与工程系，达卡国际大学，达卡-1212，孟加拉国。

## 第 0 章 不安的回响：用于假新闻和暴力驱动群体活动早期预警的多模态 NLP 框架

\chaptermark
不安的回响：用于早期预警的多模态 NLP

\chapterinitial
社交媒体的快速发展通过促进信息快速交换改变了全球通信方式，但也加速了错误信息的传播。假新闻、被篡改的内容以及煽动性叙事日益与社会动荡、政治不稳定和群体暴力相关联。南亚及其他地区的事件表明，通过 Facebook 和 WhatsApp 等平台传播的虚假信息可引发现实世界的伤害，其传播速度往往快于事实核查工作的响应速度。为应对这一挑战，本章提出了一个多语言、多模态的自然语言处理（NLP）框架，用于早期检测错误信息和易引发暴力的动态。通过组合多个基准数据集，创建了一个包含 138,256 条孟加拉语和英语样本的融合数据集。该框架集成了用于多语言文本表示的 XLM-RoBERTa、用于视觉嵌入的 CLIP，以及用于多模态融合的多头注意力机制，并辅以讽刺和地理空间元数据等辅助特征。在分层抽取的 30% 子集上的实验取得了 98% 的测试准确率，并具有较高的精确率和召回率。结果显示了多模态方法在早期错误信息检测中的有效性，并强调了地理空间信号在预测现实世界升级中的附加价值。

### 1 引言
社交媒体用户数量呈指数级增长，改变了世界各地人们的沟通方式。它们促进了信息的快速交换，同时也为误导性信息的传播提供了途径。近年来，虚假新闻和照片、讽刺性或煽动性评论已与多个国家的社会动荡、政治不稳定和群体暴力相关联。在南亚，由通过 Facebook 和 WhatsApp 传播的虚假内容引发的群体私刑事件，充分展示了线上错误信息的危害。世界大多数地区都曾发生过类似危机，其中信息传播的速度往往快于验证程序。

当前的假新闻检测系统通过基于文本的自然语言处理方法取得了显著进展。然而，这些系统在三个方面仍然存在局限。首先，它们主要关注语言，并主要依赖文本数据，从而忽视了孟加拉语[1](https://arxiv.org/html/2607.02734#bib.bib1)等低资源语言。其次，它们常常无法捕捉结合文本、图像和风格线索以强化欺骗性主张的多模态错误信息[2](https://arxiv.org/html/2607.02734#bib.bib2)。第三，它们通常不考虑地理空间因素，这限制了对可能引发群体行动的局部化错误信息热点的识别[3](https://arxiv.org/html/2607.02734#bib.bib3)。

近期研究显示了多模态错误信息检测框架的有效性[1,2,3,4](https://arxiv.org/html/2607.02734#bib.bib1)。然而，目前尚没有统一的框架能够充分结合多语言性、多模态性、讽刺意识以及用于暴力监测的地理空间信号。因此，本章旨在解决以下问题：如何开发一个多语言、多模态的 NLP 框架，以在不同语言、模态和地理空间背景下准确检测假新闻和错误信息，同时为错误信息升级为暴力驱动的群体活动提供早期预警？

提出的框架通过将多语言文本、视觉线索、讽刺等风格信号以及地理空间元数据整合到一个统一的错误信息检测系统中，填补了这一空白。该框架特别适用于包括孟加拉语在内的低资源语言环境，在这些环境中，错误信息可能造成严重的社会后果，但现有系统对其研究不足。

错误信息热点的地理空间可视化对政策制定者具有重要价值，可帮助他们识别有暴力或动荡风险的区域，并实现主动干预。该系统还能帮助安全官员根据错误信息的地理分布更有效地分配资源。事实核查人员和记者可能受益于实时的错误信息预警，从而在发布前及时进行核实。因此，提出的框架提供了一种实时的自动化错误信息检测机制，结合了多模态分析与地理空间意识，从而支持明智的决策和公共安全。

本章的主要贡献如下：

• 通过整合四种资源，构建了一个包含超过 138,000 条记录的多源异构融合数据集：涵盖孟加拉语和英语的错误信息相关资源，具有不同的模态覆盖。
• 引入了一个基于注意力的多模态融合模型，以联合整合文本、视觉、风格和地理空间特征用于错误信息检测。
• 提出的框架达到了 98% 的准确率，在融合语料库上表现出强大的预测性能。

本章的其余部分组织如下：在第 2 节中，将提出的框架置于上下文中，并回顾相关工作；第 3 节描述材料和方法，包括系统设计和数据集构建；第 4 节展示实验设置和评估结果；最后，第 5 节总结本章并概述未来的研究方向。

### 2 相关工作
考虑到社交媒体网站日益普及，已有大量关于假新闻和错误信息识别的研究。然而，最初的方法主要集中于使用文本数据。具体而言，Singh 等人[1](https://arxiv.org/html/2607.02734#bib.bib1)利用文本数据检测英文假新闻。尽管这些研究对该领域做出了积极贡献，但由于忽视了包括图像和地理元数据在内的其他有用数据源，它们不能被认为是全面的。

#### 1 基于文本的方法
识别错误信息内容所采用的传统方法主要基于文本特征，如语言学特征、情感和词汇方面。在其研究中，Singh 等人[1](https://arxiv.org/html/2607.02734#bib.bib1)应用了语言和情感线索来确定误导性信息。类似地，Segura-Bedmar 和 Alonso-Bartolome[5](https://arxiv.org/html/2607.02734#bib.bib5)提出了一个考虑基于文本特征来检测虚假信息的系统。尽管这些技术在某些情况下可能相当有效，但其弱点不容忽视。根据 Alam 等人[2](https://arxiv.org/html/2607.02734#bib.bib2)的研究，这些技术常常忽略重要的视觉特征，并且在存在讽刺的情况下无法有效执行。

#### 2 多模态方法
近年来，多项研究探索了用于假新闻检测的多模态解决方案。在 Qi 等人[6](https://arxiv.org/html/2607.02734#bib.bib6)的研究中，提出了一种以实体为中心的多模态方法，整合文本和视觉数据以改善检测结果。此外，Xu 等人[7](https://arxiv.org/html/2607.02734#bib.bib7)提出了 MDAM3，一种整合文本、图像和视频的深度学习方法。尽管这些方法在假新闻检测方面代表了显著进展，但它们需要较高的计算能力，并倾向于忽略地理空间属性。由于错误信息可能在某些地区导致暴力，这一点尤其重要。

此外，Bansal 等人[8](https://arxiv.org/html/2607.02734#bib.bib8)提出了一种用于低资源印度语言的字幕感知多模态分析方法。另一方面，Sharma 和 Arya[9](https://arxiv.org/html/2607.02734#bib.bib9)利用对比学习开发了一种多模态多类别方法来检测印地语假新闻。然而，尽管这一进展代表了重要的进步，但由于语言特定性和缺乏关于某些新闻暴力倾向的地理空间信息，其实际应用性有限。

此外，Wang 等人[10](https://arxiv.org/html/2607.02734#bib.bib10)提出了一种使用跨模态对比学习的多模态假新闻检测方法。他们还指出，多模态假新闻检测模型可以优于单模态基线。Chen 等人[11](https://arxiv.org/html/2607.02734#bib.bib11)也研究了多模态方法在假新闻检测中的鲁棒性。然而，在多语言假新闻检测和讽刺感知模型方面仍然存在局限。与之不同，本章开发的多模态框架使用了多语言文本和地理空间元数据。

#### 3 地理空间意识在识别虚假信息中的应用
许多现有的假新闻识别研究主要考虑文本和图像，忽略了空间信息所起的作用。然而，最近的一些研究强调了空间线索的重要性。Jing 等人[12](https://arxiv.org/html/2607.02734#bib.bib12)开发了一种方法，利用空间和文本信息来识别空间元数据的存在，这有助于识别错误信息的传播，并在其引发社会动荡之前预测未来的爆发点。

Alam 等人[2](https://arxiv.org/html/2607.02734#bib.bib2)也强调了地理空间信号在识别错误信息热点和追踪误导性叙事传播方面的潜在价值。Wang 等人[10](https://arxiv.org/html/2607.02734#bib.bib10)进一步观察到，区域背景可以通过揭示错误信息传播的局部趋势来改善假新闻识别。然而，即使是最近在低资源语言环境中的工作，如 MMCFND[8](https://arxiv.org/html/2607.02734#bib.bib8) 和 MMHFND[9](https://arxiv.org/html/2607.02734#bib.bib9)，仍然是语言特定的，并且没有整合暴力感知的地理空间建模。

### 3 材料与方法

#### 1 数据集
提出的数据集结合了四个主要来源：BanFakeNews（50,000 篇孟加拉语文章）[13](https://arxiv.org/html/2607.02734#bib.bib13)、Kaggle Fake News（45,000 篇英语文章）[14](https://arxiv.org/html/2607.02734#bib.bib14)、Sarcasm Headlines（30,000 条标题）[15](https://arxiv.org/html/2607.02734#bib.bib15) 和 Twitter Multimodal Fake News（13,000 条包含文本、图像和地理标签的帖子）[16](https://arxiv.org/html/2607.02734#bib.bib16)。在所有数据集中应用了由标题、内容、图像 URL、标签、讽刺、纬度、经度和时间戳组成的标准化格式。合并后的集合包含 138,256 条孟加拉语和英语记录。关于整合后的融合语料库的统计数据见表 1 (https://arxiv.org/html/2607.02734#Ch0.T1)。

融合语料库是异构的，并非统一的多模态。BanFakeNews、Kaggle Fake News 和 Sarcasm Headlines 贡献了纯文本记录，而 Twitter 子集则贡献了除文本外还包含图像引用的记录。为保持统一的模型输入格式，缺失的图像输入被视为视觉模态不可用，并在训练期间用占位图像替换。类似地，讽刺被保留为辅助风格信号。由于四个源数据集在模态覆盖和标签语义上均存在差异，融合数据集应被解释为用于多模态感知错误信息分析的异构基准，而非完全图像完备的多模态语料库。

由于源数据集在标注目的和标签语义上有所不同，我们为模型开发构建了一个统一的二分类训练空间。来自错误信息数据集的原始真/假标签被保留为核心真实性信号，而讽刺数据集则作为风格组件纳入，其讽刺标注也通过元数据字段单独保留。这种设计允许框架捕捉可能与误导性或煽动性内容共现的修辞线索，同时也承认讽刺和事实真实性并非同一概念。

表 1：整合到融合语料库中的数据集的统计信息。数据集 | 记录数 | 语言 | 模态 | 标签
---|---|---|---|---
BanFakeNews[13](https://arxiv.org/html/2607.02734#bib.bib13) | 49,977 | 孟加拉语 | 文本 | 真实/虚假
Fake News Detection[14](https://arxiv.org/html/2607.02734#bib.bib14) | 44,898 | 英语 | 文本 | 真实/虚假
Sarcasm Dataset[15](https://arxiv.org/html/2607.02734#bib.bib15) | 28,619 | 英语 | 文本 | 讽刺/非讽刺
Twitter and Weibo[16](https://arxiv.org/html/2607.02734#bib.bib16) | 14,762 | 英语 | 文本+图像 | 真实/虚假
Fusion Dataset | 138,256 | 多语言 | 文本 + 部分图像 + 元数据 | 统一二分类标签 + 风格元数据

图 1 (https://arxiv.org/html/2607.02734#Ch0.F1) 展示了融合语料库中跨数据源和语言的样本分布。图 2 (https://arxiv.org/html/2607.02734#Ch0.F2) 说明了基准数据集中类别标签和讽刺指标的分布，突出了该集合的多语言和异构性质。

参见图注
图 1：四个数据源中的样本分布