multimodal-pre-training

本文研究了原生多模态预训练的扩展性质，推导了在固定预算下的计算最优模型大小和令牌数量，并揭示了语言和多模态目标的不同扩展行为。