标签
该论文提出 PORTAL，一种无需配对图像-文本数据、基于最优传输的多模态投影器初始化方法，可以完全跳过投影器训练阶段，在六个 LLM 主干和 16 个基准上匹敌使用 558k 图文对的标准训练流程。
本文提出ST-Merge，一种可操控的模型合并框架，利用门控交叉注意力机制自适应地调节多语言模型和推理模型的贡献，在涵盖21种语言的多语言推理基准测试中优于固定合并方法。