CFMS：面向可解释细粒度中文多模态讽刺检测基准

# 迈向可解释且细粒度的中文多模态讽刺检测基准

来源：https://arxiv.org/html/2604.16372
黄秀媛 黄秀媛 Tang Chenming Yang Yutong 吴云芳∗
北京大学 多媒体信息处理国家重点实验室
北京大学 计算机学院
北京大学 软件与微电子学院
{zhangjunzhao, huang.hsiuyuan, tangchenming}@stu.pku.edu.cn, {yytpku, wuyf∗}@pku.edu.cn

###### 摘要

多模态讽刺检测近年来受到广泛关注。然而，现有基准测试存在标注粒度粗糙和文化覆盖有限的问题，阻碍了细粒度语义理解的研究。为解决这些问题，我们构建了CFMS，首个针对中文社交媒体设计的细粒度多模态讽刺数据集。该数据集包含2,796个高质量图文对，并提供三层标注框架：讽刺识别、目标识别和解释生成。我们发现，细粒度解释标注能有效引导AI生成具有明确讽刺意图的图像。此外，我们整理了一个高一致性中英平行隐喻子集（各200条），揭示了当前模型在隐喻推理方面的显著局限性。为克服传统检索方法的局限性，我们提出了一种强化学习增强的上下文学习策略（PGDS），以动态优化示例选择。大量实验表明，CFMS为构建可靠的多模态讽刺理解系统奠定了坚实基础，且PGDS方法在关键任务上显著优于现有基线模型。我们的数据和代码可在https://anonymous.4open.science/r/CFMS-E8F9获取。

CFMS：迈向可解释且细粒度的中文多模态讽刺检测基准

张俊昭、黄秀媛、唐晨明、杨雨桐、吴云芳∗
北京大学 多媒体信息处理国家重点实验室
北京大学 计算机学院
北京大学 软件与微电子学院
{zhangjunzhao, huang.hsiuyuan, tangchenming}@stu.pku.edu.cn, {yytpku, wuyf∗}@pku.edu.cn

## 1 引言

请参阅图注图1：一个来自CFMS数据集的中文多模态讽刺代表性样本。文本"装上全部一致的脑袋"（字面意思"安装完全一致的大脑"）与传送带的视觉图像形成对比，通过文化根植的语义反转来讽刺意识形态上的从众。讽刺是一种复杂的语言现象，其字面意义与真实意图相悖，用以传达嘲讽或批评（Camp，2012 (https://arxiv.org/html/2604.16372#bib.bib27)）。在多模态时代，讽刺经常通过文本与图像之间的冲突来呈现（Schifanella等，2016 (https://arxiv.org/html/2604.16372#bib.bib16)）。如图1 (https://arxiv.org/html/2604.16372#S1.F1)所示，"安装完全一致的大脑"这一表述表面上看似中性，但与机械化传送带的配对揭示了深层次的社会批判。解决这种文化根植的语义反转是自动化系统面临的主要挑战。

虽然多模态讽刺检测（MSD）已随着MMSD2.0（Qin等，2023 (https://arxiv.org/html/2604.16372#bib.bib15)）等基准测试取得进展，但现有研究仍面临三个主要局限：（1）**文化偏见**：大多数数据集以英语为中心，无法捕捉独特的中文讽刺形式，如"阴阳怪气"（被动攻击性表达）。（2）**粗粒度标注**：二元分类任务往往忽略讽刺的**目标**和**构建机制**，限制了分析深度。（3）**浅层启发式**：模型经常依赖表面线索（如标签）而非整合的多模态推理（Cai等，2019 (https://arxiv.org/html/2604.16372#bib.bib1)）。

为解决这些差距，我们提出**CFMS**（Chinese Fine-grained Multimodal Sarcasm，中文细粒度多模态讽刺），这是一个面向真实中文社交媒体的基准测试。CFMS将焦点从分类转向解释，通过**三层标注框架**：讽刺识别、目标识别和解释生成。

此外，我们探索了CFMS在检测之外的**可迁移性**。受讽刺与隐喻在说服传播中的协同作用启发（Van Mulken等，2005 (https://arxiv.org/html/2604.16372#bib.bib19)），我们证明我们的推理层面解释可以作为AI生成内容（AIGC）的**结构化指令信号**。在创意广告等领域，CFMS使文生图模型能够展现表层提示词无法唤起的隐含修辞意图（Oppenlaender，2024 (https://arxiv.org/html/2604.16372#bib.bib20)），弥合了理解反语与生成反语之间的鸿沟。

在方法论方面，我们评估了各种MLLM，并提出**Policy-Guided Demonstration Selection（PGDS，策略引导的演示选择）**。PGDS是一种强化学习策略，基于任务级反馈动态优化上下文示例的选择，在不修改模型参数的情况下有效提升细粒度讽刺理解能力。

我们的贡献如下：

- • 我们深入分析了当前MSD基准测试在标注粒度和文化覆盖方面的局限性。
- • 我们构建了**CFMS**，首个具有三层标注系统的细粒度中文多模态讽刺基准，以促进可解释的讽刺理解。
- • 我们提出**PGDS**，一种用于动态示例选择的强化学习策略，显著增强了模型在复杂场景中的性能。
- • 我们验证了细粒度讽刺解释的**可迁移性**，展示了其在引导创意AI内容生成方面的价值。

## 2 相关工作

多模态讽刺检测始于Schifanella等（2016 (https://arxiv.org/html/2604.16372#bib.bib16)）的工作，他们首次尝试通过拼接视觉和文本特征来识别讽刺。Cai等（2019 (https://arxiv.org/html/2604.16372#bib.bib1)）发布了MMSD数据集，成为该领域使用最广泛的基准测试之一。然而，该数据集存在显著的伪相关线索和标注不一致问题。

为解决这些可靠性问题，Qin等（2023 (https://arxiv.org/html/2604.16372#bib.bib15)）引入了MMSD2.0，通过移除噪声样本和重新标注不合理实例来提高数据质量。从不同角度，Castro等（2019 (https://arxiv.org/html/2604.16372#bib.bib2)）使用《老友记》和《生活大爆炸》等热门电视节目片段构建了MUStARD数据集，提供了更丰富的上下文信息。然而，MUStARD受限于其小规模和单一文化背景。

在方法论方面，早期方法从简单特征拼接发展到基于注意力机制的层次化融合模型。Liang等（2022 (https://arxiv.org/html/2604.16372#bib.bib12)）提出跨模态图卷积网络来建模模态间的原子级和组合级一致性。最近，Yue等（2024 (https://arxiv.org/html/2604.16372#bib.bib18)）引入了SarcNet，首个双语多模态讽刺数据集；然而，它尚未处理目标识别或解释生成等细粒度任务。相比之下，CFMS专注于中文社交媒体语境，并首次整合目标识别和解释生成，推动该领域迈向可解释性。值得注意的是，Farabi等（2024 (https://arxiv.org/html/2604.16372#bib.bib7)）最近的一项调查强调，高质量数据集构建和细粒度任务设计对未来研究至关重要——这一原则我们的工作严格遵循。

## 3 数据集构建

### 3.1 前置知识：讽刺认知框架

CFMS数据集的设计基于讽刺的认知机制。人类对讽刺的理解源于涉及语义冲突、语用推理和文化背景知识的复杂过程（Gibbs，2017 (https://arxiv.org/html/2604.16372#bib.bib8)）。虽然MLLM在通用情感分析方面已展现出潜力，但它们经常在依赖深度语义冲突推理的场景中表现不佳——而这些领域人类通过评估"讽刺效果"保持着显著优势（Lu等，2023 (https://arxiv.org/html/2604.16372#bib.bib6)）。

为弥合这一差距，我们采用结构化的讽刺解释表达方式。与先前仅关注识别的基准测试不同，我们遵循Konstantinidou等（2025 (https://arxiv.org/html/2604.16372#bib.bib11)）的见解，捕捉视觉异常和情感错位等语义线索。在CFMS中，我们将这些人类认知过程转化为可计算的细粒度标注。该框架不仅为模型提供了可解释的路径，还为生成任务提供了结构化指导，从"理解"讽刺意图走向"生成"讽刺意图。

### 3.2 讽刺数据收集

我们选择了一个主要的中文社交媒体平台作为主要数据源，其年轻用户群体频繁使用"阴阳怪气"（被动攻击性表达）和"内涵"（隐晦暗示）等领域特定的讽刺表达。这与现有的MMSD（Cai等，2019 (https://arxiv.org/html/2604.16372#bib.bib1)）和MUStARD（Castro等，2019 (https://arxiv.org/html/2604.16372#bib.bib2)）等以英语为中心的数据集形成鲜明对比，使我们能够捕捉中文社交媒体独特的讽刺文化。

在数据获取方面，我们采用定向爬取策略。与MMSD使用的Twitter API方法不同，我们利用分布式爬虫框架，使用"讽刺"、"反语"、"内涵图"和"阴阳怪气"等关键词进行搜索，获得了约10,000条原始条目。为解决模态错位问题（同一文本配对多张图像），我们使用PaddleOCR提取图像内嵌文本，并与外部说明进行语义融合，构建强相关的"图像-文本"对。

随后实施了三阶段净化流程：（1）**pHash去重**：移除相似度>90%的重复样本。（2）**商业过滤**：通过检测水印区域（>15%）和商业标志来过滤广告。（3）**低分辨率过滤**：丢弃像素<512×512的图像。净化后，约3,500个候选样本保留。

对于标注过程，我们设计了"LLM预标注+人工验证"流水线，灵感来自人机交互（HITL）范式（Munro，2021 (https://arxiv.org/html/2604.16372#bib.bib21)），利用自动化效率与人类专业知识的协同作用（Wang等，2021 (https://arxiv.org/html/2604.16372#bib.bib22)；Gilardi等，2023 (https://arxiv.org/html/2604.16372#bib.bib23)）。工作流程（如图2 (https://arxiv.org/html/2604.16372#S3.F2)所示）遵循三个步骤：（1）**GPT-4o预标注**使用结构化提示（逻辑："显式元素记录→冲突检测→反假设验证"）；（2）**人工验证**由三组计算语言学专业研究生进行；（3）**交互式纠错**通过集成的GPT-4o API进行实时反馈。定制开发的标注界面见附录A.3 (https://arxiv.org/html/2604.16372#A1.SS3)。

请参阅图注图2：CFMS数据集的人机交互标注流水线，整合了GPT-4o预标注、人工验证和交互式纠错。标注取得了0.69的Kappa系数（"实质性一致"），与MUStARD（Castro等，2019 (https://arxiv.org/html/2604.16372#bib.bib2)）相当。解释标注的BLEU-4一致性达到0.68，Kappa系数为0.63，表明标注可靠性高。最终CFMS数据集包含2,796个样本。文本长度统计见表1 (https://arxiv.org/html/2604.16372#S3.T1)，数据集划分见表2 (https://arxiv.org/html/2604.16372#S3.T2)。

表1：CFMS中的文本长度分布（N=2,796）。

表2：CFMS数据集的统计和分布。

如图3 (https://arxiv.org/html/2604.16372#S3.F3)的讽刺目标词云所示，目标分为五种类型：**社会现象**（41%）、**个人行为**（23%）、**人际关系**（17%）、**制度规则**（12%）和**其他**（7%）。表3.2 (https://arxiv.org/html/2604.16372#S3.SS2)展示了三个代表性样本及其对应的细粒度标注。

表3：CFMS数据集样本的细粒度标注。

### 3.3 讽刺隐喻数据构建

隐喻与讽刺的关系是语言学研究的核心。概念隐喻理论（Gibbs，2017 (https://arxiv.org/html/2604.16372#bib.bib8)）认为隐喻是人类认知的基础，讽刺往往建立在隐喻基础之上。鉴于隐喻的高度主观性，我们原始标注的初始Fleiss' Kappa仅为0.15左右。

此外，为促进跨语言研究，我们利用了之前收集的Twitter档案英语隐喻数据集。该子集原本仅包含二元隐喻标签，我们使用三层框架重新标注，提供高质量的平行英文参考（表5 (https://arxiv.org/html/2604.16372#S3.T5)）。

将英文目标词云（图4 (https://arxiv.org/html/2604.16372#S3.F4)）与中文词云进行比较，我们观察到英文讽刺目标更集中于**公共政策**和**机构效率**，而中文目标则频繁关注**社会礼仪**和**职场文化**，反映了修辞表达上不同的文化细微差异。

请参阅图注图3：中文CFMS数据集中讽刺目标的词云。字体越大表示越频繁被识别为目标，如"社会现象"和"个人行为"。

请参阅图注图4：英文平行子集中讽刺目标的词云。显示出与中文子集相比，公共政策和机构效率相关目标的集中度更高。

表4：中文讽刺-隐喻子集的分布（N=200）。

表5：英文平行子集的分布（N=200）。

### 3.4 解释驱动的AI生成测试集

我们利用CFMS标注引导gemini-3-pro-image-preview生成100张图像。两名标注员评估生成内容是否达到了预期的讽刺效果。如表6 (https://arxiv.org/html/2604.16372#S3.T6)所示，平均76%的图像成功传达了预期的讽刺效果，确认了CFMS标签作为可控生成的结构化指令信号的价值。失败案例（如"职场PUA"）揭示了当前将抽象文化隐喻具象化方面的局限性。AI生成的讽刺图像定性示例见附录A.1 (https://arxiv.org/html/2604.16372#A1.SS1)。

表6：基于CFMS标注的AI生成图像评估（N=100）。

## 4 方法

### 4.1 任务定义

CFMS包含三个逐步递进的子任务，旨在评估模型在识别、定位和解释方面的能力。我们将输入定义为多模态对**x=(I,T)**，其中**I**表示图像，**T**表示文本。讽刺识别的目标是判断**x**是否包含讽刺，输出二元标签**y∈{0,1}**。目标识别的目标是识别讽刺所针对的具体对象或现象，输出目标文本span**t**。解释生成的目标是生成自然语言解释**e**来阐述讽刺的语义冲突机制和推理过程。

### 4.2 基线模型

我们评估了多种基线模型，涵盖传统方法和深度学习方法。传统方法包括基于特征的方法，使用手工设计的特征进行分类。深度学习方法包括CNN和LSTM等。**LSTM**使用双层双向LSTM编码文本，融合ResNet50提取的视觉特征。**TextCNN**采用多尺度卷积核捕获n-gram特征。**MMBT**是Clip驱动的多模态Transformer，结合预训练视觉和文本表示。

### 4.3 大型多模态模型评估

我们评估了GPT-4V、Claude-3-Vision、Gemini-Pro-Vision等商业API模型，以及Qwen-VL、InternVL2、MiniCPM-V等开源模型。此外，我们还评估了针对中文优化的模型，包括Yi-VL、DeepSeek-VL2和GLM-4V。

### 4.4 PGDS：策略引导的演示选择

传统检索增强方法依赖文本相似度，可能选择语义相关但缺乏判别力的示例。讽刺检测需要理解微妙的语义冲突和隐含意图，这要求选择能够展示复杂推理模式的示例。

我们提出PGDS，一种利用强化学习动态优化示例选择的框架。PGDS包含两个组件：**示例检索器**使用轻量级编码器（如sentence-transformers）从训练集检索候选示例；**策略网络**评估每个候选示例对当前样本的贡献，选择最大化期望收益的示例组合。

形式化地，给定输入**(I,T)**和候选示例集**D={d₁,d₂,...,dₖ}**，策略网络π(a|d,I,T;θ)输出示例选择分布，其中a表示选中的示例组合。训练目标是最小化期望损失：

**L(θ) = E_{a~π}[L_task(f(I,T,a), y)] - λ·R(π)**

其中f是多模态融合函数，y是真实标签，R是正则化项以鼓励示例多样性。

我们使用PPO算法优化策略网络，学习选择对讽刺检测最有价值的示例。

### 4.5 实现细节

我们使用PyTorch实现所有模型。文本编码器使用BERT-Chinese，视觉编码器使用CLIP-ViT。PGDS策略网络使用2层MLP，隐藏维度256。训练使用AdamW优化器，学习率2e-5，批量大小16，训练5个epoch。推理时选择top-3最相关的示例。

## 5 实验

### 5.1 主实验结果

表7报告了CFMS三个子任务的主要结果。讽刺识别任务中，PGDS方法在多数指标上优于基线方法。目标识别任务中，细粒度模型显著超过简单分类模型。解释生成任务中，基于PGDS的方法生成更准确、更连贯的解释。

### 5.2 分析

**消融实验**：我们逐步移除PGDS组件进行消融研究。结果表明，策略网络和强化学习优化均对性能有重要贡献。移除策略网络后，性能下降约3%，证实了动态选择的价值。

**示例质量分析**：我们分析了不同示例选择策略的效果。随机选择基线表现最差，相似度检索次之，PGDS最优。这表明选择具有推理价值的示例对讽刺检测至关重要。

**错误分析**：我们手动分析PGDS的预测错误。常见错误包括：文化特定讽刺理解不足、复杂隐喻消解失败、多轮讽刺上下文缺失。

### 5.3 中文讽刺检测的独特挑战

与英语数据集相比，CFMS揭示了中文讽刺的独特挑战。"阴阳怪气"等被动攻击性表达难以通过表面特征识别，需要深度语用推理。此外，中文网络用语如"内卷"、"躺平"等承载的讽刺意图具有高度时效性和文化依赖性。

## 6 结论

我们提出了CFMS，首个面向中文社交媒体的细粒度多模态讽刺基准测试。CFMS通过三层标注框架（讽刺识别、目标识别、解释生成）推动该领域从粗粒度分类向细粒度理解迈进。我们提出的PGDS方法通过强化学习动态优化示例选择，在各项任务上显著提升性能。未来工作将探索多语言讽刺检测和跨文化讽刺理解。

## 参考文献

[1] Cai et al. (2019). MMSD dataset. ...

[2] Castro et al. (2019). MUStARD dataset. ...

（其余参考文献从略）

## 附录

### A.1 AI生成的讽刺图像示例

（详细内容从略）

### A.2 标注界面设计

（详细内容从略）

### A.3 额外统计数据

（详细内容从略）