BanglaMemeEvidence：用于孟加拉语模因的解释性证据检测的多模态基准数据集

# BanglaMemeEvidence：孟加拉语模因中解释性证据检测的多模态基准数据集
来源：https://arxiv.org/html/2607.03981
11institutetext:阿赫桑拉科技大学，达卡-1208，孟加拉国11email:fatema\.faria142@gmail\.com， mukaffi28@gmail\.com， pronaydebnath99@gmail\.com， mahim1066@gmail\.com， fahimthescientist@gmail\.com， faisal\.cse@aust\.edu穆卡菲·本·莫因Md\.马赫富祖尔·拉赫曼普罗奈·德布纳特阿西夫·伊夫泰赫·法希姆费萨尔·穆罕默德·沙阿

###### 摘要

模因已成为社交媒体上极具影响力的传播工具，它们将病毒式传播的视觉元素与简洁的信息相结合，以传达具有冲击力的观点。尽管已有大量研究探讨了模因的情感维度，但由于需要更深入的语境理解，诸如检测有害内容、识别网络欺凌以及进行准确的情感分析等关键挑战仍然至关重要。在本文中，我们引入了MemeEvidenceDetect，这是一个混合型任务，旨在分析模因及其上下文信息，以识别能够解释或阐明其含义和幽默的具体句子。为了支持这一任务，我们提出了BanglaMemeEvidence，这是一个精心策划的数据集，包含2,917个孟加拉语模因，强调了其作为孟加拉语资源的重要性。每个模因都附有自然语言解释，包括模因OCR、模因上下文和证据句子，以及反映模因与其对应注释之间关系的相关性得分。为了填补动态推断模因上下文方面的空白，我们提出了BengaliMemeEvidenceNet，这是一个混合多模态框架，整合了文本和视觉特征，以实现全面的模因表示。我们的实验证明了BengaliMemeEvidenceNet的有效性，其F1得分达到0.74。据我们所知，这是首个专注于孟加拉语模因证据检测的研究，标志着在低资源语言模因分析方面迈出了重要一步。

## 1 引言

社交媒体已成为人们沟通的关键方式，改变了我们社会中的互动方式。社交媒体上共享的内容形式多样，包括文本、音频、图像或其组合。模因通常以幽默或讽刺的方式分享，是一个常见的例子。虽然模因有助于传播关于社会、文化或政治的复杂思想，但它们往往缺乏充分理解所需的上下文，这对于人类和计算机准确解读至关重要。[21 (https://arxiv.org/html/2607.03981#bib.bib1)] [20 (https://arxiv.org/html/2607.03981#bib.bib2)]

参照图注图1：MemeEvidenceDetect的示意图，这是一个混合型任务，在给定一个模因、手动转录的孟加拉语文本以及模因上下文的描述后，模因由证据句子支持。这些句子被标记了相关性得分，其中得分为2表示“相关”。近年来模因传播的激增导致了越来越多关于模因分析的研究，主要集中在以下任务：从孟加拉语模因和文本中进行多模态仇恨言论检测[12 (https://arxiv.org/html/2607.03981#bib.bib3)]、开发孟加拉语辱骂性模因分类数据集[7 (https://arxiv.org/html/2607.03981#bib.bib4)]、使用深度学习方法从社交媒体中进行多模态网络欺凌模因检测[1 (https://arxiv.org/html/2607.03981#bib.bib5)]，以及用于情感提取的多模态模因分析[3 (https://arxiv.org/html/2607.03981#bib.bib6)]。其他研究还包括使用Transformer进行多模态攻击性模因分类[15 (https://arxiv.org/html/2607.03981#bib.bib7)]、字体模因中的讽刺检测[13 (https://arxiv.org/html/2607.03981#bib.bib8)]，以及用于多模态讽刺、情感和情绪分析的多任务学习框架[5 (https://arxiv.org/html/2607.03981#bib.bib9)]。

尽管该领域已有大量工作，但明显缺乏对多模态证据检测的重视，尤其是针对孟加拉语模因，这构成了重大挑战。为了填补这一空白，我们提出了创新解决方案，旨在自动化提取上下文证据，从而增强模因的可访问性。我们引入了一个开创性框架，称为BengaliMemeEvidenceNet，该方法侧重于识别所提供上下文中能够潜在阐明模因含义的句子。

图1 (https://arxiv.org/html/2607.03981#S1.F1)展示了一个归类为“政治”的模因，其孟加拉语文本翻译为“但你是我的反对党候选人。”该模因以2024年选举为背景，描绘了一个复杂的政治场景，其中人民联盟领导层策略性地从本党及对手政党中提名候选人。这一战略举措旨在通过创造民主选择的表象，同时掩盖潜在的政治策略，来影响世界舆论并巩固国内权威。本研究旨在分析这个多模态模因，以揭示和调查选举过程中政治干预的证据。模因中嵌入的证据句子直接揭示了政府策略：有意在政治光谱中提名候选人，以塑造全球认知并巩固地方权力。本研究旨在探索识别相关上下文文档中此类证据的方法。通过这样做，它旨在阐明模因所描绘的现代环境中跨不同主题和议题的复杂沟通动态。总之，我们的主要贡献如下：

- ∘MemeEvidenceDetect是一个混合型任务，用于预测和分析句子与给定模因的相关性，旨在阐明其含义和幽默。该任务涉及检测相关性得分，其中0表示“不相关”，1表示“部分相关”，2表示“相关”。
- ∘为了弥合孟加拉语模因证据研究中的空白，我们引入了一个名为BanglaMemeEvidence的新数据集，旨在促进此类模因中上下文证据的自动检测。该数据集包含2,917个孟加拉语模因的金标准人工注释。模因图像中的孟加拉语文本被手动转录，以确保内容表示的准确性。
- ∘我们引入了BengaliMemeEvidenceNet，这是一个混合多模态框架，旨在从其相关上下文中识别模因的证据。为此，我们采用了多种融合技术来整合文本和图像特征。

## 2 相关工作

### 2.1 模因分析

Karim等人[12 (https://arxiv.org/html/2607.03981#bib.bib3)]的研究构建了一个整合文本和视觉元素的数据集，以应对仇恨言论检测。他们的研究展示了Conv-LSTM在文本分析中的有效性以及DenseNet-161在视觉解释中的有效性，同时强调了XLM-RoBERTa在文本分析中的效果。在一项平行研究[7 (https://arxiv.org/html/2607.03981#bib.bib4)]中，作者利用BanglaAbuseMeme数据集深入探讨了辱骂性模因，偏向于多模态策略，特别是CLIP。虽然XLMR在文本分析中显示出潜力，ViT在视觉分析中也是如此，但CLIP取得了最高的宏得分。转向网络欺凌检测，Ahmed等人[1 (https://arxiv.org/html/2607.03981#bib.bib5)]提出了一个VGG16-BiLSTM模型，在检测孟加拉语模因中的有害内容方面取得了显著准确率。同时，Alluri和Krishna[3 (https://arxiv.org/html/2607.03981#bib.bib6)]利用Memotion数据集探索了模因分类，采用ViT进行视觉分析，RoBERTa进行文本分析，并使用基于Transformer的图像描述模型进行上下文理解。

### 2.2 视觉问答 (VQA)

孟加拉语视觉问题生成 (VQG) 和视觉问答 (VQA) 的最新进展突显了在这些领域进一步探索的必要性。Hasan等人[10 (https://arxiv.org/html/2607.03981#bib.bib11)]通过采用基于Transformer的方法并引入新颖模型（如图像类别和图像-答案-类别变体），在孟加拉语VQG方面取得了显著进展，这些模型展示了卓越的问题生成能力。相比之下，Islam等人[11 (https://arxiv.org/html/2607.03981#bib.bib12)]专注于孟加拉语VQA，通过调整现有数据集并采用结合CNN和bi-LSTM层的混合模型。同时，Rafi等人[17 (https://arxiv.org/html/2607.03981#bib.bib13)]通过开发一个带有人工注释的孟加拉语VQA数据集并提出一个基于Top-Down注意力的模型，为孟加拉语VQA做出了贡献。总体而言，这些研究强调了在代表性不足的语言中持续研究VQG和VQA的必要性，展示了现代CNN架构和预训练模型在推进基于图像的问答生成方面的潜力。

## 3 BanglaMemeEvidence数据集标注

### 3.1 模因收集

我们的模因收集过程涉及对多种来源的全面搜索，以确保数据集的丰富性和多样性。我们浏览了Facebook、Instagram和X（前身为Twitter）等流行社交媒体平台，以捕捉最新趋势和病毒式内容。此外，我们还深入研究了以其活跃模因文化而闻名的各种在线网站、论坛和社区。为了确保数据集的广度和相关性，我们广泛撒网，涵盖了多个主题类别的模因。我们探索了与娱乐相关的内容，其中模因经常调侃名人文化、电影和电视节目，为大众媒体提供轻松幽默的解读。在政治领域，我们策划了反映政治话语动态格局的模因，捕捉讽刺评论、政治幽默以及概括政治领域关键事件和人物的模因。我们的收集范围还扩展到体育领域，其中模因捕捉体育赛事中的激情、戏剧和友情，并通过庆祝标志性时刻和调侃体育竞争的模因展现体育文化的轻松一面。教育主题的模因提供了对学术界、学生生活以及学习环境中的挑战和趣事的见解，引发了学生和教育工作者的共鸣。在技术领域，模因通过幽默的镜头探索不断发展的设备、软件和数字文化世界，对技术使用者的怪癖和挫折进行了机智的观察。

参照图注图2：BanglaMemeEvidence数据集在不同模因类别中的概览
### 3.2 上下文文档编撰

在策划与所收集模因相对应的上下文语料库时，我们采用了多方面的方法。对于某些主题，我们依赖孟加拉语维基百科111https://bn.wikipedia.org/作为主要来源，利用其丰富的信息为模因的背景提供证据。此外，我们还探索了基于社区的讨论论坛和问答网站，如Quora222https://bn.quora.com/，以及其他通用网站。我们彻底的搜索涵盖了传统媒体和数字出版物，包括报纸333https://www.prothomalo.com/、在线文章门户444https://blog.muktomona.com/和专业媒体机构555https://ekattor.tv/，从中我们收集了关于模因相关事件和现象的深入分析和专家评论。这一全面过程确保了每个上下文文档都能捕捉到模因文化的精髓，为其社会、文化和政治基础提供有价值的见解。

### 3.3 数据集描述

- ∘Meme_ID：每个模因被分配一个唯一的图像ID用于识别。
- ∘Meme_Category：我们将政治、体育、娱乐、教育、技术和其他作为模因类别。
- ∘Meme_OCR：模因图像中的孟加拉语文本被手动转录，确保内容的准确呈现。
- ∘Meme_Context：提供模因中所描绘的主要孟加拉语上下文或主题的简洁描述。
- ∘Evidence_Sentence：此部分包含从上下文文档中提取的一个句子或简短文本，作为支持模因解释或理解的证据。
- ∘Relevance_Score：数据集中的每个证据句子都标记有相关性得分，表明其与模因的关系。该得分采用以下等级：\(0\)表示“不相关”，\(1\)表示“部分相关”，\(2\)表示“相关”。

参照图注图3：展示模因类别多样性的示意图，包括来自BanglaMemeEvidence数据集的政治、体育、娱乐等类别。
### 3.4 标注指南

我们向标注者提供了以下标注指南：

a) 全面理解：在标注之前，确保理解模因及其相关上下文。这种全面理解对于准确且富有洞察力的标注至关重要。

b) 语义对齐：让模因的语义指导标注过程。通过与模因的预期含义对齐，我们的标注保持了相关性和忠实度。

c) 信息单元：认识到自包含的最小信息单元可以作为证据。每条证据都有助于我们理解模因的背景和重要性。

d) 非连续证据：承认有效的证据可能并非总是连续出现。这种理解使我们能够识别和标注相关信息，无论其空间排列如何。

e) 完整性保证：在上下文文档不支持某个模因的情况下，我们勤奋地从其他可靠来源搜索确凿证据。这确保了标注的完整性和准确性。

f) 谨慎处理模糊性：我们对模糊情况保持谨慎，选择跳过它们以维护标注过程的完整性。这种方法防止了潜在的误解，并确保了数据集的可靠性。

### 3.5 标注过程

在我们的标注过程中，我们聘请了六位男性标注者，他们均来自孟加拉国，目前正在攻读本科学位。这些人的年龄在21到25岁之间，不仅具备模因创作的天赋，还对模因文化有深刻的理解，并且熟悉各种社交媒体平台。我们认识到标注者的宝贵贡献，根据孟加拉国标准确保公平的报酬，以对他们投入的时间和专业知识表示认可。配备了全面的指南，我们的标注者开始了他们的任务：在上下文文档中搜索简洁的句子，为每个模因提供必要的背景信息。这些被识别的句子称为“证据句子”，作为我们数据集的基石，为每个模因的起源、意义和文化背景提供了深刻的见解。为了确保标注的可靠性和一致性，我们实施了一个严格的过程来处理标注者之间的分歧。每当标注者对模因或证据句子有不同的解释时，他们会在标注指南的指导下进行讨论以达成共识。在分歧持续存在的情况下，一位对模因文化和上下文分析有更深入专业知识的高级标注者会审查冲突的标注并做出最终决定。

表1：基于相关性得分的训练集、测试集和验证集的数据集分布。
### 3.6 标注