标签
该论文提出 PORTAL，一种无需配对图像-文本数据、基于最优传输的多模态投影器初始化方法，可以完全跳过投影器训练阶段，在六个 LLM 主干和 16 个基准上匹敌使用 558k 图文对的标准训练流程。
本文表明，在多模态大语言模型中仅训练投影器，即可在3D任务上取得优异性能，避免语言模型漂移，并且相比联合训练方法提高了训练效率。