MemeCULT-1K: 评估多模态模型对南亚文化背景和幽默的理解

# MemeCULT-1K：多模态模型在南亚文化语境与幽默理解方面的基准测试
来源：https://arxiv.org/html/2609.01772
Tawsif Tashwar Dipto¹，Mehedi Ahamed²†，Radib Bin Kabir¹†，Mueeze Al Mushabbir¹，Mohammed Saidul Islam³，Mir Rayat Imtiaz Hossain⁴，Md Tahmid Rahman Laskar⁵†，Sabbir Ahmed¹,⁶†
¹伊斯兰技术大学 ²东南大学 ³向量研究院 ⁴不列颠哥伦比亚大学 ⁵约克大学 ⁶女王大学
{tawsiftashwar, radib}@iut-dhaka.edu   [email protected]
††注：贡献相等。†监管责任相等。

###### 摘要

表情包的理解超越了对视觉内容或字面文本的识别；它需要隐含的文化知识和语用推理，而这正是大多数视觉语言模型仍然缺乏的。我们推出了MemeCULT-1K，这是一个包含1,000个南亚表情包的多语言基准数据集，涵盖孟加拉语、英语和 Hindi 语，每个表情包都配有文化背景说明和三个人工撰写的解释，并附有一套包含54个孟加拉语地区方言表情包的补充集。我们在两种设置下评估了十三个流行的视觉语言模型（VLMs）：*仅表情包*和*语境感知*。提供最少的文化背景信息就能在所有模型和语言上带来一致的提升：平均SBERT相似度从44.6提高到56.4（+11.8），BLEURT从37.3提高到42.3（+5.0），LLM-as-a-Judge评分从2.57（满分5分）提高到3.43（+0.86）。细粒度的错误分析表明，闭源模型主要失败于实体和指代识别，而开源模型则受限于更广泛的文化知识缺口，语言和音韵错误在两种模型中都被证明是最难克服的。这些结果突显了植根于文化的表情包理解的困难，并为未来整合显式文化知识的工作提供了动力。我们的数据集和代码已在TawsifDipto17/MemeCULT-1K (https://github.com/TawsifDipto17/MemeCULT-1K) 公开提供。

## 1引言

表情包是一种多模态的在线幽默形式，其意义往往依赖于文化知识、社会语境和语用推理，而不仅仅是图像或文本识别（Nguyen and Ng, 2024）。一个模型可能正确解析了标题和视觉内容，但当其背后的文化指代、人物、事件、习语或社会情境未被识别时，它仍然可能无法理解幽默之处（Ananthram et al., 2025）。这使得表情包理解成为植根于文化的视觉语言推理的一个具有挑战性的测试。

现有的表情包基准主要关注分类任务，如情感、冒犯性或仇恨性（Sharma et al., 2020; Kiela et al., 2020），而以解释为中心的资源，如MemeCap（Hwang and Shwartz, 2023）和MEMEX（Sharma et al., 2023），仍然以英语和西方为中心（Nguyen and Ng, 2024）。南亚表情包提供了一个特别具有挑战性的场景，因为它们经常结合孟加拉语、Hindi语、英语和代码混合文本，并涉及板球、电影和地区特定的幽默惯例。由于这些指代仅从图像和标题中很难推断，在本文中，我们提出了一种语境感知的评估设置，以测试模型的失败是否源于缺失的背景知识。

为了支持这项研究，我们推出了MemeCULT-1K，一个包含超过1,000个南亚表情包的基准数据集，涵盖孟加拉语、英语和 Hindi 语。每个表情包都配有一个简短的文化背景说明和三个独立的人工撰写的英文解释。我们在两种设置下评估了十三个闭源和开源视觉语言模型：*仅表情包*，即模型只看到表情包；*语境感知*，即模型还接收文化背景说明。我们还包含54个孟加拉语地区方言表情包，以测试模型对非标准拼写、方言词汇和本地化幽默惯例的鲁棒性。在自动指标、LLM-as-a-judge评分和人工评估中，语境一致地提升了解释质量。我们的错误分析确定了开源和闭源模型在文化语境下的表情包理解方面都存在弱点。

（图注）图1：数据集流程：来源、筛选、清洗和标注，并进行验证以生成MemeCULT-1K数据集。

总体而言，我们的贡献有三方面：（i）MemeCULT-1K，一个用于南亚表情包解释的多语言基准；（ii）一种语境感知的评估设置，用于衡量VLM推理中的文化背景；（iii）对植根于文化的表情包理解中VLM持续性失败的细粒度分析。

## 2相关工作

现有的表情包基准主要将表情包理解构建为*分类*任务，涵盖情感、幽默标签、仇恨性、厌女症和特定语言的冒犯性内容（Sharma et al., 2020; Kiela et al., 2020; Gasparini et al., 2022; Das and Mukherjee, 2023）。虽然有用，但这些分类标签并不能直接评估系统是否能够恢复使表情包有意义和好笑的*隐含前提*。

以解释为中心的表情包评估更好地捕捉了解释性，数据集如MemeCap（Hwang and Shwartz, 2023）和MEMEX（Sharma et al., 2023）将英语表情包与标题或解释性证据配对，但此类资源仍然以英语和西方为中心（Nguyen and Ng, 2024）。更广泛地说，尽管VLMs在标准多模态基准上表现强劲（Li et al., 2022; Radford et al., 2021; Li et al., 2023），先前的工作表明它们在现实世界的模糊性（Lee et al., 2025）和文化特定场景下会退化，尽管描述流畅，却常常错失植根于文化的意图（Ananthram et al., 2025）。这些差距促使我们专注于植根于文化的南亚表情包解释，并进行明确的语境感知评估。

（表格内容：模型，SBERT相似度，平均Δ，BERTScore F1，平均Δ，BLEURT，平均Δ， 仅表情包|语境感知|仅表情包|语境感知|仅表情包|语境感知，...）

表格1：MemeCULT-1K上的自动指标结果。每个条目报告的是英语|孟加拉语| Hindi 语的结果。Avg. Δ表示在所有三种语言中提供语境后性能的平均变化。数值越高越好。

## 3数据集

我们推出了MemeCULT-1K，一个包含1,000个南亚表情包的多语言数据集。该数据集包含孟加拉语（335）、英语（331）和 Hindi 语（334）表情包，具有频繁的代码混合和文化特定指代。我们另外收集了54个孟加拉语地区方言表情包作为补充评估集。每个表情包都配有一个简短的文化背景说明和三个独立的英文解释。该数据集涵盖多样化的领域，包括体育、教育、流行文化、反讽和社会评论。图1总结了我们的数据创建流程。

**数据收集：** 通过人工策划和网络抓取，从Reddit、Facebook和地区表情包页面等公开可访问的来源收集了1,850个表情包。我们排除了明确的、仇恨的和政治性的内容。

**预处理：** 从收集到的1,850个表情包中，我们使用感知哈希和人工审核移除了重复和低质量的图像。使用OCR验证语言准确性，并丢弃了无法辨认的表情包。三位策划者进一步检查了文化相关性，包括代码混合的Banglish和Hinglish示例（英语和孟加拉语的混合）。最终数据集包含1,000个平衡的表情包。

**标注：** 十三位训练有素的标注员（精通英语和至少一门目标语言）为每个表情包撰写了三个英文解释和一个文化背景说明，共产生4,000条文本条目。为确保质量，标注通过多数共识进行验证，策划者介入解决任何分歧。所有贡献者被要求以中性的语气、正确的语法，并考虑到文化敏感性进行撰写。解释之间的平均成对SBERT相似度（Reimers and Gurevych, 2019）为0.78，表明语义上的一致性很强。

**难度分层：** 为了描述跨语言的难度来源，我们为所有1,000个表情包标注了主要的难度类型、四个非互斥属性（文字游戏、代码混合、文化先验知识和实体识别）以及指代范围。如表2所示，情境化或可共鸣的语境是整体最常见的难度（52.4%），尤其是在孟加拉语（71.6%）和 Hindi 语（58.7%）中，而英语则在情境化、文化/社会和语言难度上表现出更平衡的分布。33.9%的表情包需要文化先验知识，17.1%需要实体识别，在语言之间存在显著差异；指代主要是全国性（51.0%）或国际性（47.7%）。总体而言，这些结果表明，多语言表情包的理解依赖于超越视觉和文本内容的各种形式的语境知识，其相对重要性在不同语言间差异很大。

（表格内容：表情包属性，En|Bn|Hi|All，主要难度类型...属性存在（% 是）...）

表格2：完整数据集在英语（En）、孟加拉语（Bn）和 Hindi 语（Hi）中的难度分层构成。主要难度类型和指代范围每列总和约为100%（由于四舍五入）。四行“属性存在”是独立的是比率，因此不求和。

## 4实验设置

考虑到现实世界的部署，我们评估了涵盖闭源和开源系列的多样化VLMs。闭源方面，我们包括GPT和Gemini Flash系列的多个模型；开源选择则涵盖了多个模型系列的不同参数规模。我们还包括Gemini 2.5 Pro作为参考点，因其强大的多语言性能（Gemini Team, Google, 2025）。

**评估协议：** 每个模型在两种条件下在孟加拉语、英语和 Hindi 语子集上进行评估：*仅表情包*设置，模型仅接收图像；*语境感知*设置，额外提供简短的文化背景说明。如表8所示（附录A.3），即使是最少的语境也能将通用的视觉描述转向更植根于文化的解释。一个固定的提示（附录A.4）指示模型生成一个解释性句子，温度设置为0，输出限制在100个令牌内。分数在每个表情包的三个人工参考上取平均。完整的实验细节见附录A.5。

**自动指标：** 模型生成的解释根据人工参考使用三个语义指标进行评估：BERTScore-F1（Zhang et al., 2020）、SBERT相似度（Reimers and Gurevych, 2019）和BLEURT（Sellam et al., 2020），选择它们是因为它们能够捕捉超越表面重叠的语义和语境对齐。

**LLM-as-a-Judge与人工评估：** 为了补充自动指标，我们使用Gemini 2.5 Pro作为LLM评委（Zheng et al., 2023），对九个代表性模型在流畅度、文化正确性和幽默相关性方面进行1-5 Likert量表评分。并行的人工评估（N=3名评分员，每种语言100个表情包）使用相同的评分标准进行。

## 5结果与分析

（表格内容：模型，LLM as a Judge，平均Δ，人工评估，平均Δ， 仅表情包|语境感知|仅表情包|语境感知，...）

表格内容：模型，LLM as a Judge，平均Δ，人工评估，平均Δ， 仅表情包|语境感知|仅表情包|语境感知，...