missing-modalities

LongMoE提出了一个统一框架，同时解决多模态临床学习中的模态缺失和纵向动态问题，利用上下文感知插补、注意力令牌化、轨迹感知编码和稀疏混合专家路由。在ADNI、OASIS-3和MIMIC-IV上的实验表明，在缺失模态情况下鲁棒性得到提升，同时在完整模态设置下仍具有竞争力。

本文提出了CL-DMDF，一种基于对比学习和双维度注意力机制的动态多模态数据融合模型，用于处理缺失模态并提升判别学习能力。

本文提出了一种基于图的一阶段框架用于脑肿瘤分割，通过引入模态特定的虚拟节点和动态连接策略来处理缺失的MRI模态，在BRATS-2018和BRATS-2020数据集上优于最先进的方法。

MuteBench是一个基准测试，用于评估多模态融合模型在临床数据集上的模态缺失和模态内部缺失条件下的性能。它提供了关于架构鲁棒性的见解，并表明基于扩散的插补方法可以有所帮助。

本文提出FedMPO，一种鲁棒的联邦多模态图学习方法，通过拓扑感知的跨模态生成、缺失感知的专家路由和可靠性感知的聚合来解决模态异质性和缺失模态问题，在多个数据集上实现了性能提升。