论文页面 - 重新思考多模态大模型中的投影器训练

来源: https://huggingface.co/papers/2610.18598

摘要

PORTAL 无需配对数据即可初始化多模态投影器，通过最优传输对齐视觉与语言特征分布，在消除投影器训练的同时达到与标准训练相当的性能。

多模态大模型（Multimodal LLMs）的典型训练流程是：首先通过在大规模图像-文本对数据集上进行投影器训练（projector training），将视觉编码器（vision encoder）与语言模型对齐，随后对整个多模态模型进行联合训练。尽管这一流程被广泛使用，但投影器训练阶段的作用至今仍不甚清楚。我们发现：(i) 仅使用 10% 到 20% 的数据来训练投影器，就已经可以恢复大部分下游性能提升；(ii) 在不同数据集上训练得到的投影器可以进行线性插值，且性能基本得以保持。这些结果表明，投影器训练主要执行的是一种粗粒度对齐，许多不同的投影器都能同样好地完成这一任务。

基于这些发现，我们提出 PORTAL——一种免训练的投影器初始化方法，既不需要图像-文本配对数据，也不需要基于梯度的优化，仅需各模态的汇总统计量即可。PORTAL 在视觉与语言特征分布共享的主子空间（principal subspace）上，基于高斯近似（Gaussian approximations）计算最优传输映射，从而可以完全跳过投影器训练阶段。在没有任何配对数据的情况下，PORTAL 在 6 种 LLM 主干、2 种视觉编码器（vision encoder）和 16 个基准测试上，达到了与使用 558k 图像-文本对训练的标准流程相当的性能。在 7 种（视觉编码器，LLM）组合设置中的 3 种上超过了该流程，在其余 4 种上平均达到其得分的 98%。

查看 arXiv 页面 · 查看 PDF · 项目页面 · GitHub · 添加到合集

在你的 agent 中获取此论文：

hf papers read 2610.18598

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.18598 以将其链接到此页面。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.18598 以将其链接到此页面。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.18598 以将其链接到此页面。

包含此论文的合集 0

暂无合集包含此论文

将此论文添加到合集以将其链接到此页面。