MIDAS:面向不完整多模态情感分析的互信息解缠与不确定性感知融合
摘要
本文提出MIDAS,一种用于不完整多模态情感分析的统一框架,利用互信息解缠和不确定性感知融合,在缺失数据条件下鲁棒地表示和整合模态。
arXiv:2608.09986v1 公告类型:新
摘要:大多数现有的多模态情感分析方法假设能够访问完整的多模态输入。然而,现实世界应用经常遇到不完整或损坏的模态,这带来了严峻挑战。尽管已经提出了一些方法来解决这一问题,但它们主要依赖于数据填补和启发式协调约束,无法有效地从不完整的多模态数据中提取和利用任务相关信息。为了解决这一挑战,我们提出了一种统一框架,称为互信息解缠与不确定性感知融合(MIDAS),该框架在不完整条件下有效地重构多模态表示。MIDAS采用变分建模策略,用多元高斯潜变量表示每个模态,并进一步将其分解为共享因子和专属因子。为了获得可靠的表示,我们设计了一个极小极大目标:最小化共享空间与专属空间之间的互信息以实现稳定解缠,同时最大化跨模态共享空间之间的互信息以增强语义对齐。此外,引入了一种不确定性感知融合机制,利用后验方差作为可靠性指标,在融合过程中自适应地对潜在特征进行加权,从而确保即使在模态不完整的情况下也能实现稳健的集成。在三个广泛使用的数据集上进行的大量实验表明,MIDAS在多种不完整设置下相较于竞争基线取得了强劲且一致的性能提升,证明了其在处理不完整数据场景时的有效性和鲁棒性。
查看缓存全文
缓存时间: 2026/08/12 08:19
# MIDAS:面向不完整多模态情感分析的互信息解缠与不确定性感知融合 来源:https://arxiv.org/html/2608.09986 Yuhua Wen, Yingying Zhou, Qifei Li, Yingming Gao, Zhengqi Wen, Jianhua Tao, and Ya Li 本工作受国家重点研发计划资助(项目编号:2024YFB2808802)。(通信作者:Ya Li。) Yuhua Wen 就读于北京邮电大学人工智能学院,北京 100876,中国,同时也在中关村学院,北京 100094,中国(电子邮件:[email protected])。 Yingying Zhou, Qifei Li, Yingming Gao, and Ya Li 就职于北京邮电大学人工智能学院,北京 100876,中国(电子邮件:[email protected]; [email protected]; [email protected]; [email protected])。 Zhengqi Wen 就职于清华大学北京信息科学与技术国家研究中心,北京 100084,中国(电子邮件:[email protected])。 Jianhua Tao 就职于清华大学自动化系,北京 100084,中国,同时也在北京信息科学与技术国家研究中心,北京 100084,中国(电子邮件:[email protected])。 代码可在 https://github.com/ultramarineX/MIDAS 获取。 ###### 摘要 现有的大多数多模态情感分析方法都假设能够获得完整的多模态输入。然而,现实应用中的模态常常不完整或损坏,这构成了一个严峻的挑战。尽管已有一些方法试图解决这一问题,但它们主要依赖数据填补和启发式协调约束,无法有效地从不完整多模态数据中提取和利用与任务相关的信息。为了解决这一挑战,我们提出了一个统一框架,称为基于互信息解缠与不确定性感知融合(MIDAS),该框架能够在不完整条件下有效地重构多模态表示。MIDAS 采用变分建模策略,用多元高斯潜在变量表示每种模态,并进一步将其分解为共享因子和独有因子。为了获得可靠的表示,我们设计了一个极小极大目标:最小化共享空间与独有空间之间的互信息以实现稳定的解缠,同时最大化跨模态共享空间之间的互信息以增强语义对齐。此外,我们引入了一种不确定性感知融合机制,利用后验方差作为可靠性指标,在融合过程中自适应地对潜在特征进行加权,即使在模态不完整的情况下也能确保鲁棒的集成。在三个广泛使用的数据集上进行的大量实验表明,MIDAS 在多种不完整设置下相较于竞争性基线方法取得了强大且一致的性能提升,验证了其在不完整数据场景下的有效性和鲁棒性。 ## I 引言 图1:不完整多模态情感分析在现实场景中的示意图。传统模型在不完整输入下会产生不稳定的表示,而 MIDAS 能够学习鲁棒的多模态表示。 多模态情感分析(MSA)旨在通过利用来自语言、音频和视觉等模态的信息来推断人类情感状态。通过整合跨模态的互补线索,MSA 比单模态方法能够更全面地理解情感[9](https://arxiv.org/html/2608.09986#bib.bib1), [14](https://arxiv.org/html/2608.09986#bib.bib2)。然而,如图1所示,现实中的多模态输入常常因传感器故障、异步、带宽限制或隐私约束而出现不完整或损坏[55](https://arxiv.org/html/2608.09986#bib.bib3)。这种不完整条件往往导致传统模型产生不稳定或不可靠的表示。随着 MSA 应用不断扩展到移动平台[49](https://arxiv.org/html/2608.09986#bib.bib4)、人机交互[37](https://arxiv.org/html/2608.09986#bib.bib5)和边缘设备[66](https://arxiv.org/html/2608.09986#bib.bib6),确保在不完整多模态输入下的鲁棒性已经变得至关重要。 利用多模态数据固有的冗余性,现有研究提出了多种处理不完整多模态输入的策略。这些方法大致可以分为两类:基于数据填补的方法和基于协同表示的方法。前者旨在先重建缺失的模态,然后再进行传统的多模态处理[34](https://arxiv.org/html/2608.09986#bib.bib72), [60](https://arxiv.org/html/2608.09986#bib.bib20), [43](https://arxiv.org/html/2608.09986#bib.bib31), [31](https://arxiv.org/html/2608.09986#bib.bib77), [61](https://arxiv.org/html/2608.09986#bib.bib27), [51](https://arxiv.org/html/2608.09986#bib.bib79)。虽然这种方法直观,但会带来大量的计算开销,并且往往因重建不完善而导致误差累积。相比之下,后者侧重于学习在所有可用的模态组合中保持语义一致的表示[69](https://arxiv.org/html/2608.09986#bib.bib73), [33](https://arxiv.org/html/2608.09986#bib.bib74), [28](https://arxiv.org/html/2608.09986#bib.bib69), [29](https://arxiv.org/html/2608.09986#bib.bib61), [63](https://arxiv.org/html/2608.09986#bib.bib19)。然而,由于不同模态特征空间之间固有的异质性和非连续性,这些方法通常依赖复杂的协调机制,仍然难以跨模态学习到一致的特征。更重要的是,这些方法无法有效地从损坏的多模态数据中提取和利用任务相关信息,导致在严重不完整条件下容易性能下降。 为了解决这些局限性,有必要更好地刻画不完整 MSA 的独特性质,这些性质与完整 MSA 有着本质的不同。首先,不完整的多模态输入往往带有噪声、纠缠和语义混合的问题,难以将情感相关线索与模态特定伪影区分开来。其次,不同的缺失模式实际上会诱发不同的输入分布,导致训练和推理之间出现显著的分布偏移。从这个角度看,不完整 MSA 非常类似于领域泛化问题,模型必须在异质的、部分观测的领域之间进行泛化。这些挑战促使我们采用解缠表示学习[50](https://arxiv.org/html/2608.09986#bib.bib71),其目标是通过抑制冗余和噪声来重组损坏的多模态信息,同时将共享语义因子与模态特定细节明确分离。这种结构化表示为增强跨缺失设置的鲁棒性提供了一种原则性机制,并缓解了不完整 MSA 中固有的分布偏移。 尽管解缠表示学习在完整 MSA 场景中已显示出有效性[21](https://arxiv.org/html/2608.09986#bib.bib11), [56](https://arxiv.org/html/2608.09986#bib.bib76),现有方法主要依赖正交约束或对抗目标来强制实现解缠。这些技术只能提供间接的或几何上的分离,并且容易受到不稳定的优化或退化解的影响,尤其是在不完整输入下[63](https://arxiv.org/html/2608.09986#bib.bib19)。更根本地,解缠是一个信息分离问题,其目标是将表示分解为语义重叠最小的组件。互
相似文章
基于语义感知的完整性重建的鲁棒多模态情感分析
本文提出一种用于处理不完整模态的鲁棒多模态情感分析的语义感知完整性估计方法,旨在提高情感相关线索缺失时的准确性。
分离、细化、整合:为情感分析分解多模态融合
一篇研究论文,提出了SeRIn,一种多模态融合方案,将模态特定细化与跨模态交互分离,在CH-SIMS和CMU-MOSEI情感分析基准上取得了最先进的结果。
用于矛盾与犹豫识别的 Modality Discrepancy Transformer
本文介绍了 Modality Discrepancy Transformer (MDT),一种新型多模态融合框架,它增强了跨模态差异建模,用于在临床视频中识别矛盾与犹豫,在 BAH 数据集上优于基线方法。
C$^2$MOE:基于一致性与互补性引导的混合专家框架用于不完整多模态情感学习
论文提出C²MOE,一种基于一致性与互补性引导的混合专家框架,用于对话中的不完整多模态情感识别,利用信息论分解在模态缺失时提高鲁棒性。
ConsMSA:用于多模态情感分析的语义分布一致性学习
ConsMSA 为多模态情感分析引入了模态内与模态间的语义分布一致性学习,实现了词元重加权与剪枝,并在仅保留 10% 词元的情况下,在 CMU-MOSI、CMU-MOSEI 和 CH-SIMS 上取得了最先进的结果。