超越玩笑：多角度推理用于检测和解释模因中的有害幽默

# 超越玩笑：多角度推理检测和解释模因中的有害幽默 来源：https://arxiv.org/html/2607.15442 ###### 摘要 互联网模因融合了视觉线索、文本内容和文化背景，使得在幽默、讽刺和有害意图共存的情景下解读它们特别具有挑战性。这些复杂性凸显了对可解释模因理解系统的需求，该系统能够提供可靠且结构化的推理，以支持准确分类和人类可解释性。然而，现有的多模态分类器要么忽视这种交织，要么仅提供有限的可解释性。在本文中，我们引入 MAR-12，一种新颖的框架，利用视觉语言模型（VLM）进行模因检测和理解，其中幽默和仇恨元素可以共存。该框架首先通过从幽默和仇恨理论中提炼出的十二个结构化视角来解释每个模因。然后，它应用一种角色感知的软门控注意力机制来学习每个视角应贡献多少，接着使用基于原型的分类器进行最终预测。最后，使用特定视角的推理和学习到的注意力权重综合解释，确保透明且基于上下文的理由。我们在 PrideMM 和 Memotion 数据集上评估 MAR-12，它在幽默检测中达到 80.3% 的准确率，在仇恨检测中达到 75.9% 的准确率，优于最先进的方法。此外，人类和基于 GPT-4 的评估均证实 MAR-12 产生连贯且有说服力的解释，尤其适用于幽默和有害线索共存的模因。*警告：含有潜在冒犯性内容。* 代码—https://anonymous.4open.science/r/MAR-12

## 引言

> 笑声与痛苦、喜剧与悲剧、幽默与伤害之间只有一线之隔。——Erma Bombeck

将图像与简短文本结合的互联网模因已成为在线交流的普遍模式。虽然许多模因只是为了娱乐，但同样的表达形式也可能被武器化：幽默常常充当仇恨或歧视性内容的修辞盾牌。这造成了“有趣”与“有害”之间模糊且常被故意操纵的边界。例如，在 COVID-19 疫情期间，幽默模因成为应对恐惧和不确定性的机制（Yus2023 (https://arxiv.org/html/2607.15442#bib.bib8)），但类似的格式也被用于传播种族主义、阴谋论或污名化叙述（Steffen2025 (https://arxiv.org/html/2607.15442#bib.bib140)）。同样，LGBTQ+ 模因长期以来支持社区表达和身份认同（Griffin2021 (https://arxiv.org/html/2607.15442#bib.bib14); He and Chang2025 (https://arxiv.org/html/2607.15442#bib.bib15)），但相同的视觉-文本模式也被用来嘲笑或边缘化酷儿身份（Bakeret al.2020 (https://arxiv.org/html/2607.15442#bib.bib17); Crawfordet al.2021 (https://arxiv.org/html/2607.15442#bib.bib141)）。这些例子强调了自动系统的必要性，该系统能够区分良性幽默与有害信息，尤其是在有意模糊含义的情况下。

参见标题图1：我们提出的 MAR-12（底部）与传统模因检测（顶部）的比较。

模因理解的一个核心挑战是幽默本质上是主观且多维的：一个观众觉得有趣的内容可能对另一个人来说是冒犯、困惑或有害的（Attardo2024 (https://arxiv.org/html/2607.15442#bib.bib12)）。此外，模因中的幽默并非由单一线索产生。它可能来自视觉不协调、文本反讽、情感错位、文化引用、夸张或语言游戏，通常与敌意或刻板印象的意味交织在一起（Kalloniatis and Adamidis2024 (https://arxiv.org/html/2607.15442#bib.bib20)）。如图1 (https://arxiv.org/html/2607.15442#Sx1.F1)(a) 所示，传统的学习框架，无论是单模态还是多模态，往往将这些异质线索压缩成一个嵌入，容易忽视决定模因是幽默、仇恨还是两者兼有的微妙交互（Liuet al.2024 (https://arxiv.org/html/2607.15442#bib.bib114); Shahet al.2024 (https://arxiv.org/html/2607.15442#bib.bib87); Pramanicket al.2021 (https://arxiv.org/html/2607.15442#bib.bib90)）。尽管最近的工作微调视觉语言模型（VLM）以改善图像和文本之间的对齐，用于仇恨模因检测（Caoet al.2023 (https://arxiv.org/html/2607.15442#bib.bib27); Heeet al.2025 (https://arxiv.org/html/2607.15442#bib.bib137)），但这些模型通常表现为黑箱，几乎不提供为何将某个模因归类为幽默或有害的见解。最近以可解释性为导向的方法为模因分类生成理由或逐步解释（Jiet al.2024 (https://arxiv.org/html/2607.15442#bib.bib84); Rizwanet al.2026 (https://arxiv.org/html/2607.15442#bib.bib134); Liuet al.2026 (https://arxiv.org/html/2607.15442#bib.bib133)），标志着向透明性的重要转变。然而，这些方法通常假设幽默和仇恨是互斥的，或者单个解释路径就足够了。实际上，许多模因故意将喜剧手法与有害暗示相结合，产生需要跨越多个且常常冲突的线索进行推理的层次意义。一个模因可能因为不协调或夸张而幽默，同时却调用刻板印象或贬低性比较。现有的解释框架倾向于只突出主导信号，而忽视对于识别有害意图至关重要的次要线索。此外，它们很少区分基础内容和高层解释机制，使得所得解释难以与既定的幽默和有害言论理论对齐。这些局限性表明，理解幽默和仇恨的共存需要多个协调的解释视角，而不是单一的整体理由。

为了解决这一差距，我们提出多角度推理（MAR），它引导视觉语言模型（VLM）通过一组协调的十二个互补视角来解释模因。MAR 不是将所有线索压缩成一个嵌入，而是将解释分解为基础内容（例如，图像描述、提取文本）、幽默机制（例如，反讽、荒谬、情感对比、语言游戏）和社会意义线索（例如，有害性、意图），形成基于幽默理论和有害言论分析的推理路径覆盖集。这些视角并非刚性组件；模型可以根据模因自由强调或抑制它们。为了整合这些输出，MAR 采用角色感知的软注意力模块，通过显式编码每个视角的语义功能来学习每个视角应如何贡献于最终决策。与将输入视为可互换的标准注意力不同，该机制保留了功能差异，并捕捉了不同线索的相关性在幽默、仇恨或混合意图模因中如何变化。如图1 (https://arxiv.org/html/2607.15442#Sx1.F1)(b) 所示，这产生了一个可解释的推理角度分布和一个最终预测，透明地反映了竞争性解释是如何被加权的。

我们的主要贡献是：
- • 我们提出的 MAR 是首个框架，通过一组多样化的可解释角度联合检查模因中的幽默和仇恨，涵盖视觉/文本不协调、文化基础、情感对比、荒谬、语言游戏、有害性和推断意图等机制。
- • 我们引入一种角色感知的软注意力机制，根据输入模因动态加权这些视角，实现灵活、与人类对齐的解释，而非固定或硬编码的推理。
- • 通过在包含幽默和仇恨内容的两个模因数据集上进行广泛实验，我们证明 MAR 在两项任务上始终优于最先进的模型，特别是在幽默被故意用于掩盖有害信息的模糊案例中。

## 相关工作

### 模因检测

幽默模因分类的早期工作依赖于视觉和文本特征的多模态融合（Guoet al.2020 (https://arxiv.org/html/2607.15442#bib.bib98)）。后来的模型引入注意力机制以改善跨模态对齐（Liuet al.2024 (https://arxiv.org/html/2607.15442#bib.bib114)）。然而，这些方法仍然将幽默视为平坦标签，并未明确考虑塑造幽默意图的反讽、荒谬、情感对比、夸张、语言游戏。它们还忽略了幽默可能与微妙的敌意共存。与此同时，仇恨模因检测通过大型多模态基准（如 Hateful Memes Challenge（Kielaet al.2020 (https://arxiv.org/html/2607.15442#bib.bib22)）和相关数据集（Caoet al.2022 (https://arxiv.org/html/2607.15442#bib.bib53)）以及微调 CLIP 和类似模型以改进多模态语义（Heeet al.2022 (https://arxiv.org/html/2607.15442#bib.bib120); Thapaet al.2025 (https://arxiv.org/html/2607.15442#bib.bib138)）取得了进展。这些模型添加了对象、人脸或文本级别的线索来检测显式伤害，但它们仍然将有害性视为单一信号，并且当仇恨被幽默、讽刺或文化细微差别掩盖时，常常失效。

另一方面，我们将模因理解重新定义为多角度推理问题。我们不是将多样化的线索压缩成一个嵌入，而是将解释分解为十二个互补视角，使模型能够区分良性幽默与模糊或隐蔽的敌意——这是先前方法难以做到的。通过角色感知的软注意力机制，MAR-12 学习哪些视角对于幽默、仇恨或混合意图模因最有信息量，产生灵活、透明且与人类对齐的预测。这种整体处理直接缓解了单模态、多模态和黑箱 VLM 系统的不足，通过捕捉幽默与伤害之间的细微相互作用。

### 基于推理的模因理解

最近的工作越来越多地使用基于 LLM 和 VLM 的方法来增强有害或模糊模因的可解释性（Hee and Lee2025 (https://arxiv.org/html/2607.15442#bib.bib19); Rizwanet al.2025 (https://arxiv.org/html/2607.15442#bib.bib136)）。少样本和零样本系统如（Rizwanet al.2025 (https://arxiv.org/html/2607.15442#bib.bib136)）和 MiND（Liuet al.2025 (https://arxiv.org/html/2607.15442#bib.bib79)）、LoReHM（Huanget al.2024 (https://arxiv.org/html/2607.15442#bib.bib46)）以及相关的推理导向方法（Linet al.2025 (https://arxiv.org/html/2607.15442#bib.bib80)）采用视觉-文本蕴含或思维链提示来解释模因可能有害的原因。受辩论启发的框架如 ExplainHM（Linet al.2024 (https://arxiv.org/html/2607.15442#bib.bib76)）模拟对立观点并使用裁判模型整合论点。尽管生成式推理方法显示出前景，但它们仍然受制于结构假设：辩论式系统将解释简化为二元竞赛，而单链或双链解释无法捕捉模拟幽默和仇恨共存、情感对比、文化基础或语言游戏所需的多维空间。

我们不依赖于一两个推理轨迹，而是鼓励 VLM 通过十二个互补视角来反思模因，涵盖基础内容、幽默机制和社会意义线索。这种结构化分解避免了辩论式方法的二元框架，更好地捕捉了幽默与伤害相互作用的多样方式。角色感知的软注意力机制进一步学习每个输入中哪些视角最重要，从而实现灵活且上下文敏感的解释，突出歧义、竞争性线索和混合意图。通过以统一且可解释的方式建模幽默和有害信号，我们的方法产生的解释比先前的生成式推理系统更忠实、更细致且更符合人类解释过程。

参见标题图2：提出的多角度推理（MAR）框架概览。阶段1：视角条件提示。阶段2：角色感知软门控注意力。阶段3：基于 LLM 的判断进行解释。

## 方法论

为了对模因理解中复杂且常常冲突的解释空间进行建模，我们引入 MAR-12，一个鼓励 VLM 通过一组结构化的互补视角来反思模因的框架。MAR-12 不是强制模型进入固定行为，而是作为一种结构化认知脚手架，类似于人类被提示“从另一个角度看”或“设身处地为别人着想”。这些视角提供了广度，而角色感知的软门控注意力机制则确定每个模因中哪些角度最重要，在不硬编码结果的前提下确保推理的自由。如图2 (https://arxiv.org/html/2607.15442#Sx2.F2) 所示，MAR-12 由三个阶段组成：(1) *视角条件提示*，(2) *角色感知软门控注意力*，以及 (3) *通过基于 LLM 的判断进行解释*。

### 视角条件提示

给定一个模因 m=(I,T)，由图像 I 和关联文本 T 组成，MAR-12 通过一组结构化的十二个视角 P={p1,...,p12} 来解释它。每个视角对应于不同的解释透镜，基于语言幽默理论、情感对比建模和有害言论分析。

#### 角色条件提示。
为了引出每个推理角度，我们通过为 VLM 分配一个特定于视角的角色来提示它，类似于要求人类标注者暂时采用某种解释心态（“考虑文化背景”、“分析反讽”、“评估有害意图”）。形式上，对于视角 p_i 的响应生成一个自然语言推理序列，即：
r_i = Q_θ(I, T, p_i),   (1)
其中 r_i 是特定于视角 p_i 的自然语言推理序列。收集所有十二个响应得到：
R_m = {r_1, r_2, ..., r_12}.   (2)

每个 r_i 提供特定视角的解释，它们一起构成下游聚合的多样化基础。此阶段不对模型应依赖哪些视角施加约束；相反，它鼓励智力广度，同时允许阶段2确定相关性。由于空间限制，所有十二个视角的完整提示在附录B (https://arxiv.org/html/2607.15442#A2) 中提供（见表10 (https://arxiv.org/html/2607.15442#A2.T10)）。附录描述了每个提示的原理、结构和确切措辞，使读者能够完全复现我们的视角条件提示设置。

### 角色感知多角度融合

为了整合十二个推理轨迹，我们采用角色感知软门控注意力机制，该机制区分每个视角的功能角色（例如，幽默 vs. 安全）。每个推理序列 r_i 编码为固定维度的嵌入 h_i ∈ R^d。与将输入视为可互换的标准注意力不同，我们引入一个角色嵌入