用于事实核查的多模态声明提取

arXiv cs.CL 论文
fact-checking multimodal claim-extraction benchmark social-media llm research

摘要

研究人员提出了首个用于从社交媒体中进行多模态声明提取的基准，评估了最先进的多模态大语言模型，并引入了MICE——一个意图感知框架，在处理图文结合帖子中的修辞意图和上下文线索方面有所改进。

arXiv:2604.16311v1 公告类型：新发布 摘要：自动事实核查（AFC）依赖于声明提取作为第一步，但现有方法在很大程度上忽视了当今虚假信息的的多模态特性。社交媒体帖子通常将简短、非正式的文字与图像（如表情包、截图和照片）结合在一起，这带来了与纯文本声明提取以及图像描述或视觉问答等研究较为充分的多模态任务不同的挑战。在本工作中，我们提出了首个用于从社交媒体中进行多模态声明提取的基准，该基准由包含文字和一张或多张图片的帖子组成，并附有来自真实fact-checker的金标准声明标注。我们在一个三部分评估框架（语义对齐、忠实度和去情境化）下评估了最先进的MMLLM，发现基线模型在建模修辞意图和上下文线索方面存在困难。为解决这一问题，我们引入了MICE，一个意图感知框架，在意图关键案例中表现出改进。
查看原文

相似文章

多模态大语言模型能否生成并检测多模态社交媒体假新闻？

arXiv cs.CL

EMNLP Findings 2026 的一篇论文提出了一种多智能体框架（包括文本、图像和批评者智能体），生成了 9,000 多条多模态假新闻帖子，并对 16 个开源和闭源多模态大语言模型进行了基准测试。结果发现这些模型的检测准确率尚达不到人类水平，尤其在判断图像真实性方面表现不佳。