大型音频语言模型中的多语言情感神经元

# 大型音频-语言模型中的多语言情感神经元

来源：https://arxiv.org/html/2608.08772
Xiutian Zhao1,Philipp Koehn1,Björn Schuller2,Berrak Sisman1 1约翰霍普金斯大学语言与语音处理中心（CLSP），美国 2帝国理工学院语言、音频与音乐研究组（GLAM），英国

###### 摘要

情感是人类沟通的核心，其表达方式因语言而异。大型音频-语言模型（LALMs）在多语言语音任务上取得了强劲表现，但仍不清楚它们是通过语言特定的相关性还是语言无关的表征来编码情感。我们首次在神经元层面针对该问题展开可解释性研究。我们将多语言情感神经元（MLENs）定义为在跨语言中表现出稳定情感选择性且具有对齐因果效应的功能单元，并提出一致性正则化融合（CR-Fusion）来识别它们。在四个现代 LALMs 和 12 种类型多样的语言上，针对每种语言独立识别出的情感敏感神经元显示出极小的重叠，而额外的单语识别数据在超过一定量后迅速饱和，无法分离出更多可迁移单元，这促使我们从汇聚的跨语言证据中进行识别。因果干预表明，由 CR-Fusion 识别出的 MLENs 在零样本和低资源设置下，比单语神经元集合提供更精确、更可迁移的情感控制。留一法消融进一步揭示了不对称迁移：各个用于识别的语言（包括低资源语言）都贡献了不可冗余的证据，而若干低资源语言从由此产生的跨语言迁移中获益最多。综上，我们的发现首次从因果和神经元层面解释了 LALMs 如何跨语言编码情感，并将多语言神经元识别确立为理解跨语言情感行为的有效机制。

大型音频-语言模型中的多语言情感神经元

## 1 引言

情感是人类沟通的核心通道：除了我们所说的话，语音还通过韵律、时序、强度和由文化塑造的表达规则来传递我们的感受Wilce (2009 (https://arxiv.org/html/2608.08772#bib.bib145)); Lindquist等(2015 (https://arxiv.org/html/2608.08772#bib.bib146))。在一个多语言世界中，这一情感层必须对语言多样性具有鲁棒性：人们通常可以从不熟悉的语言中推断情感，但识别会受到语言、文化和习得的声音惯例的调节Russell (1991 (https://arxiv.org/html/2608.08772#bib.bib148)); Pel等(2009 (https://arxiv.org/html/2608.08772#bib.bib147)); Jackson等(2019 (https://arxiv.org/html/2608.08772#bib.bib149))。泛文化线索与语言特定实现之间的这种张力，使得多语言情感成为检验现代基础模型中概念表征泛化能力的理想试验场。

数十年的跨语言语音情感识别（SER）研究表明，情感线索在一定程度上可以泛化到未见语言，但迁移仍然对语言和语料库不匹配敏感，并且人类与模型的迁移模式存在系统性差异(Albornoz and Milone,2017 (https://arxiv.org/html/2608.08772#bib.bib143); Han等,2025 (https://arxiv.org/html/2608.08772#bib.bib138))。因此，当前模型在多大程度上依赖跨语言共享的情感表征，而非数据集、语料库和语言局部的相关性，仍然是一个开放问题。

与之平行的可解释性研究表明，LLMs 和多模态模型中的单个神经元与人类可解释的概念（包括情感状态）相对齐(Huben等,2024 (https://arxiv.org/html/2608.08772#bib.bib134); Bau等,2017 (https://arxiv.org/html/2608.08772#bib.bib11);sofroniew2026emotionconceptsfunctionlarge)。然而，在多语言编码器中，用一种语言识别出的情感相关神经元往往无法泛化到其他语言(Singh等,2026 (https://arxiv.org/html/2608.08772#bib.bib133))，并且激活引导的跨语言泛化仍存在争议(Maraia等,2026 (https://arxiv.org/html/2608.08772#bib.bib132))。这种语言特定与语言无关的情感表征之间的张力，促使了我们展开研究（§2 (https://arxiv.org/html/2608.08772#S2)）。

现代多模态基础模型yao2024minicpmvgpt4vlevelmllm;xu2025qwen25omnitechnicalreport，特别是 LALMs(例如 Kimi-Audio、Audio-Flamingo-3) 为探讨这一问题提供了新范式。通过整合大规模的声学与语言预训练，LALMs 在广泛的语音理解任务上取得了有竞争力的表现(Huang等,2024 (https://arxiv.org/html/2608.08772#bib.bib158); Sakshi等,2025 (https://arxiv.org/html/2608.08772#bib.bib157))，包括语音情感识别(Cheng等,2024 (https://arxiv.org/html/2608.08772#bib.bib166);he2025meralionaudiollmbridgingaudiolanguage)。然而，关于这些模型如何表征情感信息的机制性解释仍然缺乏。目前尚不清楚 LALMs 是使用语言特定的功能单元，还是拥有一种跨广泛语言多样性泛化情感处理的共享表征结构。

据我们所知，这项工作是首次系统性地尝试研究和操纵 LALMs 内部的多语言情感表征。我们以 SER 作为探针任务，通过四个开源 LALMs——Audio-Flamingo-3、Qwen2.5-Omni-7B、MiniCPM-o-4.5 和 Kimi-Audio——以及 12 种类型多样的语言上的激活来识别情感神经元，其中包括高资源语言（如英语、普通话）和低资源语言（如阿姆哈拉语、孟加拉语和乌尔都语），这些语言的情感语音数据通常稀缺Koehn and Knowles (2017 (https://arxiv.org/html/2608.08772#bib.bib92)); Mohmad Dar and Delhibabu (2024 (https://arxiv.org/html/2608.08772#bib.bib94))。为了分离出具有稳定跨语言情感选择性的神经元，我们提出*一致性正则化融合*（CR-Fusion），它可作用于任何神经元选择器（如基于平均激活的选择器Bau等(2019 (https://arxiv.org/html/2608.08772#bib.bib16)); Dalvi等(2019 (https://arxiv.org/html/2608.08772#bib.bib15))），以利用多语言证据来识别跨语言稳定的情感单元。

我们的研究得出五个主要发现。(1) 在不同语言中独立识别出的情感敏感神经元（ESNs）在集合交集上极小，而选择分数的秩相关性为弱到中等，这表明单语识别程序即使底层排序结构相似，也会选出显著不同的神经元。(2) 单语证据在超过 50 个实例后迅速饱和；额外的同语言数据对分离可迁移神经元不再带来进一步改进。(3) 我们将多语言情感神经元（MLENs）定义为在跨语言中表现出稳定情感选择性的功能单元。因果干预证实，MLENs 在情感处理中发挥功能性作用：去激活会选择性损害对目标情感的识别，而引导则会选择性增强识别。我们提出的 CR-Fusion 在零样本和低资源设置下，在多个模型上达到或优于最佳单语识别效果（Qwen2.5-Omni-7B 上的引导除外，该模型的语言不变份额最低）。(4) 因果效应在情感间存在异质性：愤怒、快乐和悲伤表现出最大且最稳定的干预效应，而恐惧和中性较弱且变化更大。这一排序与基线识别准确率和类别支持度相关，而非表征的普遍性——逐情感的不变份额实际上在中性和恐惧上最高。(5) 我们发现了不对称迁移模式，各个用于识别的语言贡献了不可替代的证据。这些结果表明，低资源语言可以为多语言神经元识别贡献不可冗余的证据，同时也受益于改进后的跨语言迁移。

这些发现为理解多模态基础模型如何跨语言处理情感提供了机制性框架，并对免训练的跨语言泛化和面向低资源语言社区的公平情感计算具有实际意义。

## 2 相关工作

#### 多语言语音情感识别。

多语言 SER 的研究已从早期使用传统深度神经网络的跨语言迁移Albornoz and Milone (2017 (https://arxiv.org/html/2608.08772#bib.bib143)); Neumann and Thang Vu (2018 (https://arxiv.org/html/2608.08772#bib.bib139)); Zehra等(2021 (https://arxiv.org/html/2608.08772#bib.bib144))，发展到利用 wav2vec 2.0 等自监督编码器和基于 transformer 的架构等更具可扩展性的方法Sharma (2022 (https://arxiv.org/html/2608.08772#bib.bib141)); Al-onazi等(2022 (https://arxiv.org/html/2608.08772#bib.bib137))。近期如 EmoBox 的基准Ma等(2024 (https://arxiv.org/html/2608.08772#bib.bib135))在标准化多语言评估的同时，也凸显了持续的跨语言鲁棒性挑战；相关研究揭示了人类与模型迁移模式之间的系统性差异singh2023decodingemotionscomprehensivemultilingual; Han等(2025 (https://arxiv.org/html/2608.08772#bib.bib138))。当前工作探索 LALMs 用于零样本跨语言识别、情感描述和联合音频-文本推理Zou等(2025 (https://arxiv.org/html/2608.08772#bib.bib140)); Xu等(2024 (https://arxiv.org/html/2608.08772#bib.bib142));he2025meralionaudiollmbridgingaudiolanguage，并辅以 LoRA 等参数高效方法进行跨语言对齐Goncalves等(2024 (https://arxiv.org/html/2608.08772#bib.bib136))。然而，目前尚无关于 LALMs 中跨语言情感表征的机制性研究shou2025multimodallargelanguagemodels。

#### 音频-语言模型中的神经元级概念与情感可解释性。

识别对人类可解释概念具有选择性响应的功能单元是可解释性研究中一个长期主题，已在视觉Bau等(2017 (https://arxiv.org/html/2608.08772#bib.bib11),2020 (https://arxiv.org/html/2608.08772#bib.bib12))和 LLMsHuben等(2024 (https://arxiv.org/html/2608.08772#bib.bib134)); Voita等(2024 (https://arxiv.org/html/2608.08772#bib.bib17)); Yu and Ananiadou (2024 (https://arxiv.org/html/2608.08772#bib.bib23)); Tang等(2024 (https://arxiv.org/html/2608.08772#bib.bib13))中得到确立。在情感方面，近期工作识别出 LLMs 中成簇的情感神经元Lee等(2025 (https://arxiv.org/html/2608.08772#bib.bib26))，并且可通过激活引导进行因果控制wang2025llmsfeelemotioncircuits；其中sofroniew2026emotionconceptsfunctionlarge展示了情感状态如何分解为模块化回路；然而Singh等(2026 (https://arxiv.org/html/2608.08772#bib.bib133))发现，在多语言编码器中，用一种语言识别出的情感相关神经元无法泛化，且引导的跨语言泛化仍存在争议Maraia等(2026 (https://arxiv.org/html/2608.08772#bib.bib132))。在 LALMs 中，神经元级分析目前主要针对模态归因和通用声学概念Huo等(2024 (https://arxiv.org/html/2608.08772#bib.bib20)); Wu等(2024 (https://arxiv.org/html/2608.08772#bib.bib9))，或按层探测语音与韵律编码yang2025audiolenscloserlookauditory；情感单元的识别仅局限于单语场景，用于 SERZhao等(2026b (https://arxiv.org/html/2608.08772#bib.bib167))和情感语音转换zhao2026neuronlevelemotioncontrolspeechgenerative。它们在语言边界上的稳定性尚未被探索，这也促使了我们进行研究（扩展讨论见附录C (https://arxiv.org/html/2608.08772#A3)）。

## 3 方法

我们的流程包含三个阶段：(1) 在正确识别的 SER 实例上进行激活日志记录；(2) 使用将语言条件统计整合为跨语言神经元集合的规范化融合策略进行神经元评分与选择；(3) 通过定向干预进行因果分析。

### 3.1 多语言激活日志记录

设L\mathcal{L}表示语言集合，E\mathcal{E}表示情感集合。我们在带情感标签的语音 SER 任务上运行未干预的模型，并将日志记录限制为预测正确的样本，以减少失败模式的污染，并获得更干净的情感条件统计。令D(l,e)\mathcal{D}^{(\ell,e)}表示语言l∈L\ell\in\mathcal{L}中情感e∈Ee\in\mathcal{E}的预测正确话语集合。对话语xx及其词元位置t∈{1,...,Tx}t\in\{1,\dots,T_x\}，设al,n,t(x)a_{l,n,t}(x)表示第ll层神经元nn的标量 SwiGLU 门控激活hazeer2020gluvariantsimprovetransformer，并用wx,t∈{0,1}w_{x,t}\in\{0,1\}屏蔽不相关的位置（如填充和指令提示词元）。我们将正激活计数和有效词元计数聚合为：

Kl,n(l,e)=∑x∈D(l,e)∑t=1Txwx,tI[al,n,t(x)>0],\displaystyle K^{(\ell,e)}_{l,n}=\sum_{x\in\mathcal{D}^{(\ell,e)}}\sum_{t=1}^{T_x}w_{x,t}\,\mathbb{I}\!\left[a_{l,n,t}(x)>0\right],(1)T(l,e)=∑x∈D(l,e)∑t=1Txwx,t,\displaystyle T^{(\ell,e)}=\sum_{x\in\mathcal{D}^{(\ell,e)}}\sum_{t=1}^{T_x}w_{x,t},并形成激活概率分布Pl,n(l,e)=Kl,n(l,e)/T(l,e)P^{(\ell,e)}_{l,n}=K^{(\ell,e)}_{l,n}\big/T^{(\ell,e)}。

### 3.2 单语证据与神经元识别方法

我们首先通过每种语言独立评分神经元来获得单语证据。设sl,n(l,e)s^{(\ell,e)}_{l,n}表示由Pl,n(l,e)P^{(\ell,e)}_{l,n}导出的选择器分数。我们使用基于边距的选择器——对比激活边距（ConAct）Zhao等(2026a (https://arxiv.org/html/2608.08772#bib.bib25))作为默认方法，因为与 LAPHuben等(2024 (https://arxiv.org/html/2608.08772#bib.bib134)); Gurnee等(2024 (https://arxiv.org/html/2608.08772#bib.bib19))、LAPETang等(2024 (https://arxiv.org/html/2608.08772#bib.bib13)); Namazifard and Poech (2025 (https://arxiv.org/html/2608.08772#bib.bib29))和 MADBau等(2019 (https://arxiv.org/html/2608.08772#bib.bib16)); Dalvi等(2019 (https://arxiv.org/html/2608.08772#bib.bib15))相比，它在干预效果上持续更强。ConAct 将每个神经元分配给其最偏好的情感，并测量与第二偏好情感之间的边距。利用Pl,n(l,e)P^{(\ell,e)}_{l,n}，我们定义：Pl,n(1)(l)=maxe∈E⁡Pl,n(l,e)P^{(1)}_{l,n}(\ell)=\max_{e\in\mathcal{E}}P^{(\ell,e)}_{l,n}

el,n(1)(l)=arg⁡maxe⁡Pl,n(l,e),Pl,n(2)(l)=maxe≠el,n(1)(l)⁡Pl,n(l,e)e^{(1)}_{l,n}(\ell)=\arg\max_e P^{(\ell,e)}_{l,n},P^{(2)}_{l,n}(\ell)=\max_{e\neq e^{(1)}_{l,n}(\ell)}P^{(\ell,e)}_{l,n}sl,n(l,e)={Pl,n(1)(l)−Pl,n(2)(l),e=el,n(1)(l)0,otherwise.s^{(\ell,e)}_{l,n}=\begin{cases}P^{(1)}_{l,n}(\ell)-P^{(2)}_{l,n}(\ell),&e=e^{(1)}_{l,n}(\ell)\\ 0,&\text{otherwise}\end{cases}.
对每个(l,e)(\l