native-multimodal-modeling

本文提出了一份正式的路线图，用于从晚期融合多模态方法向统一Transformer框架内的原生多模态建模（NMM）转型，根据输入-输出对偶性对现有模型进行分类，并系统性地讨论了架构协调、数据整理、训练方案和评估。