multimodal-pretraining

来自Meta FAIR、Reality Labs和牛津大学的一项关于多模态预训练的系统性研究，揭示了模态之间的不对称知识流动、协同与竞争动态、早期统一的益处，以及通过13.5B MoE模型验证的高效训练方案。

本文系统性地探索了多模态预训练的物理机制，揭示了知识在模态之间如何流动、协同与竞争的条件、早期统一的优势，以及在13.5B MoE模型上验证的高效预训练配方。