标签
本文挑战了多模态情感分析中缺失模态的传统“修复优先”范式，表明全模态输入仅对一小部分样本是最优的。作者提出了SIEVE，一种即插即用的方法，学习在样本级别决定是否修复缺失模态，并持续改进现有的修复框架。
RL4IL 提出了一种强化学习引导的检索方法，利用对冻结演示库的软融合来处理推理时机器人模仿学习中的传感器模态缺失问题，在完全摄像头丢失的情况下实现了高成功率。
LongMoE提出了一个统一框架，同时解决多模态临床学习中的模态缺失和纵向动态问题，利用上下文感知插补、注意力令牌化、轨迹感知编码和稀疏混合专家路由。在ADNI、OASIS-3和MIMIC-IV上的实验表明，在缺失模态情况下鲁棒性得到提升，同时在完整模态设置下仍具有竞争力。
本文提出了CL-DMDF，一种基于对比学习和双维度注意力机制的动态多模态数据融合模型，用于处理缺失模态并提升判别学习能力。
本文提出了一种基于图的一阶段框架用于脑肿瘤分割，通过引入模态特定的虚拟节点和动态连接策略来处理缺失的MRI模态，在BRATS-2018和BRATS-2020数据集上优于最先进的方法。
MuteBench是一个基准测试，用于评估多模态融合模型在临床数据集上的模态缺失和模态内部缺失条件下的性能。它提供了关于架构鲁棒性的见解，并表明基于扩散的插补方法可以有所帮助。
本文提出FedMPO，一种鲁棒的联邦多模态图学习方法，通过拓扑感知的跨模态生成、缺失感知的专家路由和可靠性感知的聚合来解决模态异质性和缺失模态问题，在多个数据集上实现了性能提升。