early-unification

本文系统性地探索了多模态预训练的物理机制，揭示了知识在模态之间如何流动、协同与竞争的条件、早期统一的优势，以及在13.5B MoE模型上验证的高效预训练配方。