跨语音与面部的情绪：多模态基础模型中的共享情感机制

# 语音与面孔中的情感共享：多模态基础模型中的共同情感机制

来源：https://arxiv.org/html/2608.17102
赵秀田、孙璐琪、附属机构：美国约翰斯·霍普金斯大学语言与语音处理中心（CLSP）
比约恩·舒勒、附属机构：英国帝国理工学院语言、音频与音乐组（GLAM）
贝拉克·西斯曼、附属机构：美国约翰斯·霍普金斯大学语言与语音处理中心（CLSP）

###### 摘要

现代多模态基础模型（MFMs）在需要跨语音、视觉和语言进行整合感知的任务上取得了快速进展，包括情感识别。然而，目前尚不清楚它们是通过共享的情感功能单元还是模态特定的通路来识别语音和面部情感。我们探索了三种MFMs（Gemma-4-12B-it、MiniCPM-o-4.5 和 Qwen2.5-Omni-7B）中的情感敏感神经元（ESNs），即选择性地与情感类别相关的稀疏解码器神经元。使用语音情感识别和面部表情识别作为互补探针，我们识别出了声学和视觉ESNs。视觉ESNs具有因果意义：禁用它们会选择性地损害对相关面部情感的识别，而引导它们的激活则会选择性地增强相对于其他情感类别对该情感的识别。声学和视觉ESNs进一步显示出情感匹配的重叠和相似的层级分布，表明跨语音和面部的情感表征之间存在部分结构对齐。最后，跨模态干预揭示了双向因果迁移：从一个模态识别的ESNs在应用于另一模态时产生特定情感效应。我们的研究提供了多模态基础模型中情感功能单元的首个跨模态激活层面分析之一，表明语音和面部情感识别部分收敛于稀疏的解码器级组件，这些组件无需训练即可被定位和操纵。

###### 关键词：

多模态基础模型，情感计算，语音情感识别，面部表情识别，激活干预

## I 引言

自然交流中的情感感知本质上是多模态的。在面对面互动中，人们从面部表情、语音韵律、词汇内容、身体动作和上下文中推断情感[14 (https://arxiv.org/html/2608.17102#bib.bib44),40 (https://arxiv.org/html/2608.17102#bib.bib49),7 (https://arxiv.org/html/2608.17102#bib.bib50),1 (https://arxiv.org/html/2608.17102#bib.bib51),38 (https://arxiv.org/html/2608.17102#bib.bib55),29 (https://arxiv.org/html/2608.17102#bib.bib53),53 (https://arxiv.org/html/2608.17102#bib.bib26)]。在这些通道中，语音和面部行为是最常被研究和最具实际意义的情感信息来源之一。面部表情提供了如肌肉配置和凝视等可见线索，而语音则通过音高、节奏、强度和时序传达情感[45 (https://arxiv.org/html/2608.17102#bib.bib31),33 (https://arxiv.org/html/2608.17102#bib.bib43),3 (https://arxiv.org/html/2608.17102#bib.bib45)]。心理学和情感计算研究长期以来一直在争论情感感知在多大程度上反映了模态通用的情感类别、模态特定的线索模式以及情境或文化习得的规律性[31 (https://arxiv.org/html/2608.17102#bib.bib32)]。这使得语音和面部情感识别成为一个自然的试验场，用于探究现代多模态基础模型（MFMs）是否发展出了共享的情感内部机制。

MFMs的最新进展极大地扩展了机器感知的范围。诸如MiniCPM-o-4.5[54 (https://arxiv.org/html/2608.17102#bib.bib57)]、Qwen2.5-Omni[50 (https://arxiv.org/html/2608.17102#bib.bib58)]和Gemma-4[17 (https://arxiv.org/html/2608.17102#bib.bib56)]等模型可以在统一界面中处理图像、语音和文本。这些系统在音频和视觉理解任务上取得了强大的性能[13 (https://arxiv.org/html/2608.17102#bib.bib35),43 (https://arxiv.org/html/2608.17102#bib.bib36),21 (https://arxiv.org/html/2608.17102#bib.bib34),32 (https://arxiv.org/html/2608.17102#bib.bib33),9 (https://arxiv.org/html/2608.17102#bib.bib37),19 (https://arxiv.org/html/2608.17102#bib.bib41),10 (https://arxiv.org/html/2608.17102#bib.bib47)]，并且在情感应用方面，包括语音情感识别（SER）和面部情感识别（FER）[11 (https://arxiv.org/html/2608.17102#bib.bib38),16 (https://arxiv.org/html/2608.17102#bib.bib42),51 (https://arxiv.org/html/2608.17102#bib.bib30),20 (https://arxiv.org/html/2608.17102#bib.bib3),28 (https://arxiv.org/html/2608.17102#bib.bib48)]，也展现出日益增长的潜力。然而，仅仅行为上的成功并不能揭示模型识别面部愤怒和语音愤怒是通过相关的内部组件，还是跨模态的一致性仅出现在最终答案选择附近。

机制可解释性提供了定位和操纵支持情感任务行为的内部组件的工具。先前的研究表明，单个神经元或稀疏的单元组可以在视觉模型[5 (https://arxiv.org/html/2608.17102#bib.bib11),6 (https://arxiv.org/html/2608.17102#bib.bib12),12 (https://arxiv.org/html/2608.17102#bib.bib14)]、语言模型[41 (https://arxiv.org/html/2608.17102#bib.bib16),55 (https://arxiv.org/html/2608.17102#bib.bib20),23 (https://arxiv.org/html/2608.17102#bib.bib29)]和多模态系统[22 (https://arxiv.org/html/2608.17102#bib.bib2),15 (https://arxiv.org/html/2608.17102#bib.bib19),24 (https://arxiv.org/html/2608.17102#bib.bib18),49 (https://arxiv.org/html/2608.17102#bib.bib10)]中与人类可解释的概念对齐。在这项工作中，“神经元”指的是模型组件内的一个标量隐藏单元，我们关注解码器MLP神经元，因为它们提供了一组庞大的非线性单元，多模态表征在生成文本之前通过这些单元进行转换[18 (https://arxiv.org/html/2608.17102#bib.bib17),4 (https://arxiv.org/html/2608.17102#bib.bib15),39 (https://arxiv.org/html/2608.17102#bib.bib13)]。与此同时，情感建模研究了情感风格如何在语音生成和转换系统中表示和控制[46 (https://arxiv.org/html/2608.17102#bib.bib27),48 (https://arxiv.org/html/2608.17102#bib.bib5)]。最近的工作将情感与可解释性联系起来，通过识别语言和音频语言模型中与情感相关的神经元或回路，并表明激活引导可以因果地调节情感行为[27 (https://arxiv.org/html/2608.17102#bib.bib22),44 (https://arxiv.org/html/2608.17102#bib.bib6),37 (https://arxiv.org/html/2608.17102#bib.bib40)]。然而，这些分析仍然主要局限于单一模态，尤其是文本或语音，因此情感敏感功能单元是模态特定的还是在感知通道间部分共享的仍然悬而未决。

这项工作研究了MFMs中的跨模态情感敏感神经元（ESNs）。遵循先前在大型音频语言模型中进行语音情感识别的工作[58 (https://arxiv.org/html/2608.17102#bib.bib39)]，我们将*ESNs*定义为稀疏的解码器MLP单元，其激活模式选择性地与情感输入类别相关，并且其行为作用可以通过干预来测试。我们区分从SER激活中识别的*声学情感敏感神经元*（A-ESNs）和从FER激活中识别的*视觉情感敏感神经元*（V-ESNs）。在Gemma-4-12B-it[17 (https://arxiv.org/html/2608.17102#bib.bib56)]、MiniCPM-o-4.5[54 (https://arxiv.org/html/2608.17102#bib.bib57)]和Qwen2.5-Omni-7B[50 (https://arxiv.org/html/2608.17102#bib.bib58)]中，我们使用对比激活标准识别ESNs，通过重叠和层级分布分析它们的结构对齐，并通过禁用和引导评估它们的因果作用。禁用测试抑制选定的神经元集是否会破坏对相关情感的识别，而引导测试放大该集合是否会选择性地增强对相应情感的识别。

我们的第一个问题是视觉ESNs是否存在以及它们是否具有功能意义。先前的研究表明，从SER派生的A-ESNs可以在音频语言模型中被识别并进行因果验证[58 (https://arxiv.org/html/2608.17102#bib.bib39)]。然而，目前尚不清楚是否可以在其他模态，特别是视觉模态的情感任务中发现具有类似功能的神经元。因此，我们从正确识别的FER示例中识别V-ESNs，并在FER过程中对它们进行干预。结果显示，V-ESNs对MFMs的情感识别行为具有因果影响，其方式类似于A-ESNs：禁用会选择性地减少对相关面部情感的识别，而引导则会增加对目标情感的预测。这些发现为FER派生的V-ESNs构成情感功能单元提供了正面证据，并表明ESNs可以从语音和面部情感识别任务中独立发现。

这些观察促使我们提出下一个问题：语音和面部情感识别是否会收敛到相关的情感表征？为此，我们分析了解码器内部声学和视觉ESNs之间的一致性。具体来说，我们比较了A-ESNs和V-ESNs集合的特定情感神经元级重叠和层级ESN分布。在各种模型中，重叠虽然稀疏，但匹配情感类别之间的重叠始终比不匹配类别更强，表明存在部分跨模态对齐。进一步的层级分析表明，A-ESNs和V-ESNs都分布在多个解码器层中，并且倾向于集中在中间和后期层，而不是早期层。这表明观察到的ESNs不是单个模块的孤立产物。相反，情感敏感单元形成了跨声学和视觉输入广泛可比的稀疏深度模式，尽管其精确定位仍然取决于模型。

然而，仅结构重叠并不能证明功能共享。A-ESNs和V-ESNs之间的重叠可能是由偶然的共同激活、共享的答案令牌处理或由选择标准引入的偏差造成的。因此，我们超越描述性分析，通过跨模态因果干预测试观察到的对齐是否具有功能性。我们跨模态转移ESN掩码：从语音识别的A-ESNs应用于FER，从面部识别的V-ESNs应用于SER。这些转移的干预在两个方向上都产生了特定情感效应。总体而言，禁用转移的ESNs对匹配情感的识别损害大于不匹配情感，而引导它们则会相对于非目标反应增加相应目标情感的反应。这些效应始终比随机对照产生的效应更强、更具结构。因此，MFMs中的语音和面部情感识别并非完全模态隔离；解码器MLP包含部分可跨语音和面部转移的情感组件。

总之，本研究做出了以下贡献。首先，我们在MFMs中识别并因果验证了视觉ESNs，将神经元级的情感分析从语音扩展到面部表情识别。其次，我们表明声学和视觉ESNs表现出稀疏的情感匹配重叠和大致相似的层级分布。第三，据我们所知，我们提出了首个针对MFMs中情感功能单元的跨模态分析之一，重点关注语音和面部情感识别。我们的研究结果证明了语音和面部来源的ESNs之间的双向跨模态因果迁移，为MFMs中的情感处理部分依赖于共享的解码器级组件提供了证据。

## II 相关工作

神经元级特异性已被广泛研究为实现可解释基于Transformer模型的途径，有证据表明单个单元或稀疏单元组可以在视觉模型[5 (https://arxiv.org/html/2608.17102#bib.bib11),6 (https://arxiv.org/html/2608.17102#bib.bib12)]、语言模型[23 (https://arxiv.org/html/2608.17102#bib.bib29),41 (https://arxiv.org/html/2608.17102#bib.bib16),55 (https://arxiv.org/html/2608.17102#bib.bib20)]和多模态系统[26 (https://arxiv.org/html/2608.17102#bib.bib54),22 (https://arxiv.org/html/2608.17102#bib.bib2),15 (https://arxiv.org/html/2608.17102#bib.bib19),49 (https://arxiv.org/html/2608.17102#bib.bib10),24 (https://arxiv.org/html/2608.17102#bib.bib18)]中编码人类可解释的概念。在情感建模方面，相关工作研究了语音系统中情感和副语言属性如何被表示或控制，包括学习的风格嵌入[46 (https://arxiv.org/html/2608.17102#bib.bib27)]、连续的情感控制变量[48 (https://arxiv.org/html/2608.17102#bib.bib5)]以及基于激活的语言模型情感引导或回路分析[25 (https://arxiv.org/html/2608.17102#bib.bib46),27 (https://arxiv.org/html/2608.17102#bib.bib22),44 (https://arxiv.org/html/2608.17102#bib.bib6),37 (https://arxiv.org/html/2608.17102#bib.bib40)]。这些研究确定情感行为通常可以通过内部表征来定位或调节，但它们并未直接解决这些表征是否在感知模态间共享的问题。实际上，相关证据表明，与情感相关的神经元可能并不总能在输入条件下迁移，例如在多语言编码器中跨语言的迁移[35 (https://arxiv.org/html/2608.17102#bib.bib28)]。

除了文本之外，探测和剖析方法分析了音频和多模态模型内部编码的内容，包括语音、说话人、韵律和更广泛的声学概念[36 (https://arxiv.org/html/2608.17102#bib.bib25),2 (https://arxiv.org/html/2608.17102#bib.bib24),52 (https://arxiv.org/html/2608.17102#bib.bib4),47 (https://arxiv.org/html/2608.17102#bib.bib9)]。与我们的工作最直接相关的是，最近的研究在大型音频语言模型中识别了用于SER[58 (https://arxiv.org/html/2608.17102#bib.bib39),57 (https://arxiv.org/html/2608.17102#bib.bib8)]和情感语音转换[59 (https://arxiv.org/html/2608.17102#bib.bib7)]的ESNs。然而，现有的分析主要集中于单一模态。目前尚不清楚ESNs是模态特定的，还是在不同情感通道间形成部分共享的基质。我们的工作通过从面部表情识别中识别视觉ESNs，并在MFMs中测试它们与来自SER的声学ESNs的重叠和迁移来缩小这一差距。

## III 方法

我们对SER和FER应用一个共享的基于激活的探测流程：在正确识别的示例上收集解码器MLP激活，使用对比标准选择稀疏ESNs，并通过禁用和引导评估它们的因果作用。

### III-A 情感条件激活收集

令 $\mathcal{E}$ 表示情感类别集合。对于每个任务模态 $q \in \{\mathrm{SER}, \mathrm{FER}\}$ 和情感 $e \in \mathcal{E}$，我们在相应的情感识别任务上运行原始的、未干预的模型。我们使用多选问答协议，并仅保留正确识别的示例用于神经元识别，这减少了来自模型失败案例的噪声，并产生了更纯净的情感条件激活。