平衡多模态情感分析的幻象：超越基于优化方法的局限

# 平衡多模态情感分析的幻象：超越基于优化方法的局限
来源：https://arxiv.org/html/2609.11247
Kaffeza Georgiou Potamianos

###### 摘要

多模态情感分析仍然受限于模态不平衡问题，然而该领域持续依赖于基于优化的平衡方法，这些方法往往言过其实。我们提出三项贡献：1）一个统一的评估框架，在受控条件下测试基于梯度和基于损失的平衡策略；2）一项理论诊断，解释了这些方法为何失败，因为它们混淆了拟合速度与判别性贡献；3）一项研究议程，旨在实现基于留出判别性的模态评估。在CMU-MOSI和CMU-MOSEI上的实验揭示了三个缺陷：没有策略能可靠地超越后期拼接方法；性能对超参数敏感；甚至比率校准也无法带来一致的提升。核心问题在于根本性：损失不等于效用，梯度不等于重要性。模态不平衡问题依然悬而未决，这促使我们从留出性能出发进行效用估计。

###### 关键词

多模态学习，模态不平衡，优化动力学，判别性评估

††地址：1PERSEE中心，巴黎矿业-PSL大学，索菲亚-安提波利斯，法国；2伯尔尼大学，伯尔尼，瑞士；3雅典国立技术大学，雅典，希腊；4Archimedes AI，雅典，希腊；5Synaptic Bloom PBC，圣莫尼卡，加利福尼亚州，美国
††邮箱：[email protected]，[email protected]，[email protected]
††脚注：研究工作于雅典国立技术大学期间完成。
****脚注：表示通讯作者。

## 1引言

多模态学习通过将语言、视觉和音频结合在单一模型中，承诺对人类情感的更深层次理解。这些模态提供了互补信号，应当能够提升情感分析的效果[1 (https://arxiv.org/html/2609.11247#bib.bib1)]。然而，实证研究发现，多模态系统的性能常常不及其单模态对应系统[2 (https://arxiv.org/html/2609.11247#bib.bib6)]。这种反直觉的不匹配要求我们更仔细地审视多模态模型的训练方式。

一个关键挑战是*模态不平衡*。每个模态表现出不同的表征几何结构、时间分辨率、信息密度和学习动力学[3 (https://arxiv.org/html/2609.11247#bib.bib5), 4 (https://arxiv.org/html/2609.11247#bib.bib2)]。因此，一个模态往往主导优化过程，快速塑造共享的表征空间，而其他模态则训练不足且代表性欠佳。在单一目标下进行联合训练很少能产生平衡的融合[2 (https://arxiv.org/html/2609.11247#bib.bib6), 5 (https://arxiv.org/html/2609.11247#bib.bib7), 6 (https://arxiv.org/html/2609.11247#bib.bib8)]。相反，模型会过拟合于最强的模态，尽管拥有多个信息源，泛化能力却很差。

作为补救措施，该领域投入了基于优化的干预措施。先前的工作[2 (https://arxiv.org/html/2609.11247#bib.bib6), 5 (https://arxiv.org/html/2609.11247#bib.bib7), 7 (https://arxiv.org/html/2609.11247#bib.bib9), 8 (https://arxiv.org/html/2609.11247#bib.bib10)]试图调整梯度以补偿异质的学习速率。其他方法[9 (https://arxiv.org/html/2609.11247#bib.bib11), 10 (https://arxiv.org/html/2609.11247#bib.bib12)]重新加权损失，以期在校准每个模态在训练期间的影响。尽管这些方法在实现上有所不同，但它们共享一个共同前提：断言通过操纵优化过程可以恢复模态间的平衡，从而释放多模态学习的全部潜力。

本工作提供了对多模态情感分析中用于缓解模态不平衡的基于优化策略的统一比较分析。我们提供三项贡献：

1. 1\.一个统一的评估框架，该框架在CMU-MOSI[11 (https://arxiv.org/html/2609.11247#bib.bib13)]和CMU-MOSEI[12 (https://arxiv.org/html/2609.11247#bib.bib14)]上，在受控条件下测试基于梯度的方法（OGM-GE[7 (https://arxiv.org/html/2609.11247#bib.bib9)]，AGM[8 (https://arxiv.org/html/2609.11247#bib.bib10)]）以及基于损失的方法（PMR[9 (https://arxiv.org/html/2609.11247#bib.bib11)]，ReconBoost[10 (https://arxiv.org/html/2609.11247#bib.bib12)]），隔离分析每种方法在不同主导情景下的表现。
2. 2\.一项理论诊断，解释了为什么这些方法未能持续优于基线。具体而言，基于优化的方法混淆了一个模态拟合训练数据的速度与其实际对正确预测的贡献程度；这是该领域以前就遇到过的一种范畴错误。在1990年代，视听语音识别社区证明，生成式似然比无法可靠地估计模态效用，这导致了向判别性训练标准的决定性转变。同样的根本性错位现在又在现代基于优化的平衡方法中重现。
3. 3\.一项研究议程，旨在实现基于留出判别性的模态估值，并辅以受控的诊断实验。

参见标题图1：联合训练的失败。CMU-MOSI上一个具有代表性的后期拼接运行的训练、验证和单模态损失。文本模态迅速达到最低损失并引导整个优化过程，而音频和视觉损失基本保持平坦。多模态曲线与仅文本曲线相似，表明联合训练已坍缩到主导模态。改编自[13 (https://arxiv.org/html/2609.11247#bib.bib45)]。我们进一步研究了架构和训练因素，包括优化器的选择、批量大小以及反向传播期间施加外部调制的持续时间，如何影响这些技术的稳定性和有效性。对于依赖基于比率的模态贡献估计的方法[7 (https://arxiv.org/html/2609.11247#bib.bib9), 8 (https://arxiv.org/html/2609.11247#bib.bib10), 9 (https://arxiv.org/html/2609.11247#bib.bib11)]，我们引入了一个专门的开发集，以提供更稳定和无偏的校准信号，使这些方法能够在最有利于其设计的条件下进行测试。综合来看，这些组件使我们能够回答多模态学习中的一个核心问题：*基于优化的重新加权能多有效地解决模态不平衡？我们的回答令人清醒：效果不佳，因为这些方法衡量的是错误的信号。*

## 2相关工作与背景

### 2\.1多模态情感分析的图景

多模态情感分析旨在通过联合建模语言、视觉和声学线索来预测与情绪和观点相关的状态。早期的MSA方法依赖于简单的融合策略，包括早期融合[14 (https://arxiv.org/html/2609.11247#bib.bib15)]和晚期融合[15 (https://arxiv.org/html/2609.11247#bib.bib16)]。后续架构通过注意力机制[16 (https://arxiv.org/html/2609.11247#bib.bib18)]和大规模预训练引入了更丰富的跨模态推理，例如MulT[17 (https://arxiv.org/html/2609.11247#bib.bib17)]或自监督变体如Self-MM[18 (https://arxiv.org/html/2609.11247#bib.bib37)]。

相比之下，我们采用了一个更简单的基于LSTM的[19 (https://arxiv.org/html/2609.11247#bib.bib19)]晚期融合架构，以隔离单模态优化动态，避免跨模态开销。即使融合设计日益复杂且基准测试广为建立，许多模型似乎仍在假设所有模态在训练期间贡献相等。这个假设经常失效[2 (https://arxiv.org/html/2609.11247#bib.bib6), 5 (https://arxiv.org/html/2609.11247#bib.bib7), 6 (https://arxiv.org/html/2609.11247#bib.bib8)]，暴露了多模态模型设计与实际学习行为之间持续存在的差距。

表1：在CMU-MOSI和CMU-MOSEI上三种模态组合的模型性能比较。结果报告为音频-视频（A-V）、文本-视频（T-V）和音频-文本-视频（A-T-V）设置下五次运行的平均准确率（%）。后期拼接作为主要基线，并显示了每种方法相对于该基线的绝对变化（Δ\\Delta）。标有“–”的条目表示该方法不适用于三模态（A-T-V）配置。在所有设置中，Δ\\Delta值都很小，表明相对于基线没有一致的提升，暗示表观增益可能落在种子方差范围内。结果复制自[13 (https://arxiv.org/html/2609.11247#bib.bib45)]。

### 2\.2为何联合训练偏好某些模态

多模态模型很少以相同速度学习所有模态[2 (https://arxiv.org/html/2609.11247#bib.bib6)]。表征几何结构、时间分辨率、噪声、信息密度和其他因素[3 (https://arxiv.org/html/2609.11247#bib.bib5), 4 (https://arxiv.org/html/2609.11247#bib.bib2)]的差异意味着，一些模态拟合速度快，有过度拟合的风险，而其他模态泛化能力更好但学习更慢。这种错配推动优化过程促进快速拟合的模态，而削弱其他模态（图1 (https://arxiv.org/html/2609.11247#S1.F1)）。贪婪学习者假说[5 (https://arxiv.org/html/2609.11247#bib.bib7)]将此行为形式化：多模态网络倾向于偏爱能快速降低损失的模态。同时，模态之间也在竞争表征容量[6 (https://arxiv.org/html/2609.11247#bib.bib8)]。主导模态驱动整个学习过程，使其他模态影响甚微。

形式化地，令Dtrain={\(xi,yi\)}i=1N\\mathcal\{D\}\_\{\\text\{train\}\}=\\\{\(x\_\{i\},y\_\{i\}\)\\\}\_\{i=1\}^\{N\}为一个训练集，每个输入具有M个模态。每个模态k由特征提取器Fk\(θk\)F\_\{k\}\(\\theta\_\{k\}\)处理，产生特征Fk\(θk,mik\)F\_\{k\}\(\\theta\_\{k\};m\_\{i\}^\{k\}\)，这些特征被连接成一个联合表征

ΦM\(xi\)=[F1\(⋅\):⋯:FM\(⋅\)]\.\\Phi^\{M\}\(x\_\{i\})=\[F\_\{1\}\(\\cdot\):\\cdots:F\_\{M\}\(\\cdot\)\]\.\(1\)
然后将其传递给分类器。在反向传播期间，每个模态的参数更新为

θkt+1=θkt−η∇θktL\(ΦM(x),y\)\.\\theta\_\{k\}^\{t+1\}=\\theta\_\{k\}^\{t\}-\\eta\\,\\nabla\_\{\\theta\_\{k\}^\{t\}\}L\(\\Phi^\{M\}(x),y\)\.\(2\)
其中学习率为η。尽管编码器是独立的，但晚期连接迫使所有模态共享相同的损失信号，这意味着ΦM中的主导特征引导了整体梯度。根据链式法则，模态k的梯度分解为

∇θkL=∂L∂ΦM⋅∂ΦM∂Φk⋅∂Φk∂θk\.\\nabla_\{\\theta_\{k\}\}L=\\frac\{\\partial L\}\{\\partial\\Phi^\{M\}\}\\cdot\\frac\{\\partial\\Phi^\{M\}\}\{\\partial\\Phi^\{k\}\}\\cdot\\frac\{\\partial\\Phi^\{k\}\}\{\\partial\\theta_\{k\}\}\.\(3\)
其中Φk是模态k的表征。当损失梯度与特定模态k∗k^\{\*\}更强烈对齐时，我们有

∥∇θk∗L∥≫∥∇θjL∥(j≠k∗)\.\\lVert\\nabla_\{\\theta_\{k^\{\*\}\}\}L\\rVert\\gg\\lVert\\nabla_\{\\theta_\{j\}\}L\\rVert\\qquad\(j\\neq k^\{\*\}\)\.\(4\)
在实践中，这意味着优化过程将其大部分学习能力分配给主导模态，而只提供微弱的更新给其他模态。这是在单一目标下进行联合训练的结构性后果，揭示了融合策略的一个核心局限。次优的多模态特征利用在这些模态携带关键互补信息的任务中造成了严重障碍[5 (https://arxiv.org/html/2609.11247#bib.bib7)]。Zhang等人[20 (https://arxiv.org/html/2609.11247#bib.bib20)]理论上表明，联合训练可以诱导一个瞬态的单模态阶段，导致持续的模态偏差，仅靠梯度调制无法完全纠正。因此，学习表征的深度和多样性受到限制[6 (https://arxiv.org/html/2609.11247#bib.bib8)]。这种不平衡削弱了泛化能力和鲁棒性[5 (https://arxiv.org/html/2609.11247#bib.bib7), 21 (https://arxiv.org/html/2609.11247#bib.bib21)]。在现实场景中，过于依赖主导模态会使模型在测试时对该模态的噪声或信息缺失敏感。

### 2\.3迈向解决模态不平衡

为了对抗模态不平衡，一些方法在训练期间仅选择最具信息量的模态[22 (https://arxiv.org/html/2609.11247#bib.bib4), 23 (https://arxiv.org/html/2609.11247#bib.bib22), 24 (https://arxiv.org/html/2609.11247#bib.bib23)]。第二条研究路线修改或重新加权梯度[2 (https://arxiv.org/html/2609.11247#bib.bib6), 5 (https://arxiv.org/html/2609.11247#bib.bib7), 7 (https://arxiv.org/html/2609.11247#bib.bib9), 8 (https://arxiv.org/html/2609.11247#bib.bib10), 25 (https://arxiv.org/html/2609.11247#bib.bib24), 26 (https://arxiv.org/html/2609.11247#bib.bib25), 27 (https://arxiv.org/html/2609.11247#bib.bib26)]，以引导优化过程实现更平衡的模态贡献。第三组调整损失函数[9 (https://arxiv.org/html/2609.11247#bib.bib11), 10 (https://arxiv.org/html/2609.11247#bib.bib12), 21 (https://arxiv.org/html/2609.11247#bib.bib21)]，以增强较弱的模态或抑制主导模态的影响。在这项工作中，我们专注于受控晚期融合设置下多模态情感分析联合训练中的基于优化的平衡，而不是显式的模态选择或更高容量的融合架构。

基于梯度的方法通过为特定模态梯度分配自适应权重，扩展了传统优化器如Adam[28 (https://arxiv.org/html/2609.11247#bib.bib27)]和随机梯度下降（SGD）。OGM-GE[7 (https://arxiv.org/html/2609.11247#bib.bib9)]抑制主导模态的梯度，而AGM[8 (https://arxiv.org/html/2609.11247#bib.bib10)]引入无竞争状态和实时调制以减少模态间的干扰。

基于损失的方法如PMR[9 (https://arxiv.org/html/2609.11247#bib.bib11)]和ReconBoost[10 (https://arxiv.org/html/2609.11247#bib.bib12)]修改训练目标以放大较弱的模态。PMR采用基于原型和熵正则化，而ReconBoost交替进行特定模态的更新与协调项，以重新平衡它们的贡献。

总之，这些方法试图防止多模态模型坍缩到主导模态，并确保所有流都做出有意义的贡献。在这项工作中，我们评估了在一系列受控条件下，这些策略解决不平衡的有效性。

### 2\.4模态似然比：历史视角

使用似然比进行模态加权起源于早期的视听语音识别。多流隐马尔可夫模型系统表明，生成式似然提供了不可靠的模态可靠性估计，特别是在变化的噪声条件下，因此必须与置信度度量或判别性标准相结合[29 (https://arxiv.org/html/2609.11247#bib.bib28), 30 (https://arxiv.org/html/2609.11247#bib.bib29), 31 (https://arxiv.org/html/2609.11247#bib.bib30), 32 (https://arxiv.org/html/2609.11247#bib.bib31)]。这些早期方法尤其相关，因为它们将多模态融合框架为一个加权问题，预示了今天研究的基于优化的平衡策略。