MMMMM:用于研究多语言多模态虚假信息机制的统一分类体系

Hugging Face Daily Papers 论文

摘要

本文提出了一种统一分类体系,用于研究社交媒体上的多语言多模态虚假信息,利用大规模数据集和基于视觉语言模型的自动标注,以揭示检测和缓解的见解。

社交媒体上的多模态虚假信息非常普遍、强大且有害,但难以检测和应对,且与纯文本虚假信息相比,理解仍不足。研究多模态虚假信息的性质和欺骗策略受到缺乏基于现实世界背景的分类体系的阻碍,以及当前多模态机器学习模型的局限性,这些局限性阻止了大规模标注和分析的自动化。我们通过三个步骤来解决这些缺陷。首先,我们从Twitter/X收集了大规模、高质量的真实世界虚假信息实例数据集,涵盖七种语言。其次,我们开发了一个新颖、全面的多模态虚假信息分类体系,基于对数据和先前理论工作的深入定性分析。最后,我们使用视觉语言模型(VLM)通过自动化的多步标注流程来实现该分类体系的操作化,并进行人工验证。我们的新方法揭示了此前未记录的见解,关于社交媒体用户如何在实际中结合图像和文本传播虚假信息,例如,AI生成的内容在技术和科学领域尤为普遍,而疫苗虚假信息则不成比例地使用新闻机构的图像来宣称可信度。我们的方法和发现为针对多模态虚假信息的检测方法提供了指导,并表明缓解工作应战略性地开发和应用,而不是均匀地。
查看原文
查看缓存全文

缓存时间: 2026/09/01 15:40

论文页面 - MMMMM:一个研究多语言多模态虚假信息机制的统一分类体系

来源:https://huggingface.co/papers/2608.29681

摘要

社交媒体上的多模态虚假信息极为普遍、具有强大影响力且危害严重,但难以检测和应对,与纯文本虚假信息相比,其机制仍鲜为人知。目前对多模态虚假信息的特性和欺骗策略的研究受到两方面阻碍:一是缺乏基于现实情境的分类体系;二是现有模型多模态机器学习模型的能力限制,使得大规模自动标注与分析难以实现。我们通过三个步骤来解决这些不足。首先,我们从Twitter/X收集了一个大规模、高质量的真实世界虚假信息数据集,涵盖七种语言。其次,我们基于对数据和现有理论工作的深入定性分析,开发了一个新颖、全面的多模态虚假信息分类体系。最后,我们通过一个使用视觉语言模型(VLM)的自动化多步标注流程来操作化该分类体系,并进行了人工验证。我们的新方法揭示了此前未被记录的见解,例如社交媒体用户如何在现实中结合图像与文本传播虚假信息:AI生成内容在科技和科学领域尤为普遍;而疫苗相关虚假信息则不成比例地利用新闻机构图片来宣称可信度。我们的方法和发现为针对性地检测多模态虚假信息提供了指导,并表明缓解措施应有策略地开发和应用,而非一概而论。

查看arXiv页面 (https://arxiv.org/abs/2608.29681) 查看PDF (https://arxiv.org/pdf/2608.29681) GitHub0 (https://github.com/nadavborenstein/MultimodalTaxonomy) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.29681)

在你的代理中获取此论文:

hf papers read 2608\.29681

没有最新版CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型README.md中引用arxiv.org/abs/2608.29681可从此页面链接。

引用此论文的数据集0

无数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2608.29681可从此页面链接。

引用此论文的Spaces0

无Space链接此论文

在Space README.md中引用arxiv.org/abs/2608.29681可从此页面链接。

包含此论文的收藏夹0

无收藏夹包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 可从此页面链接。

相似文章

多模态大语言模型能否生成并检测多模态社交媒体假新闻?

arXiv cs.CL

EMNLP Findings 2026 的一篇论文提出了一种多智能体框架(包括文本、图像和批评者智能体),生成了 9,000 多条多模态假新闻帖子,并对 16 个开源和闭源多模态大语言模型进行了基准测试。结果发现这些模型的检测准确率尚达不到人类水平,尤其在判断图像真实性方面表现不佳。