TokenSwap：基准测试并缩小多模态大语言模型中的模态差距

# 多模态大语言模型中模态差距的基准测试与降低 来源：https://arxiv.org/html/2607.28640 Andong Hua1Colton Bishop2Igor Mordatch2Arian Hosseini2Jindong Gu2Aleksandra Faust2Rebecca Roelofs2Yao Qin1,2 1加州大学圣塔芭芭拉分校2Google DeepMind ###### 摘要 多模态大语言模型 \(MLLMs\) 应在语义等价的跨模态输入下产生一致的响应。然而，我们观察到在这种跨模态变化下，模型预测存在系统性偏差。具体来说，我们将模态差距定义为模型在语义等价的文本输入与多模态输入下的性能差异。我们引入了 TokenSwap，一种通过将文本概念替换为语义对齐的图像来构造此类输入的方法，从而生成视觉 token 与文本 token 交错排列的序列。基于 TokenSwap，我们将现有的基于文本的基准测试（如 MMLU[16 (https://arxiv.org/html/2607.28640#bib.bib1)]）转换为图像交错版本，构建了 TokenSwap-Bench。在 42 个 MLLM 上，我们观察到模态差距普遍存在：从纯文本输入切换到图像交错输入时，性能下降幅度从 4.2% 到 47.4%，平均下降 19.6% ± 3.3%。值得注意的是，我们发现推理模型始终表现出更小的差距，平均差距为 10.1%，而非推理模型为 25.5%。相比之下，仅靠提示策略或扩展训练计算量并不能可靠地缩小模态差距。最后，我们证明在训练过程中引入 TokenSwap 可以有效缓解这一差距，同时保持较强的纯文本和视觉-语言性能。 见图1：模态差距普遍存在：所有模型在图像交错输入上的表现都差于纯文本输入，差距范围为 4.2% 至 47.4%。每个点代表一个模型，按模型家族着色，三角形表示推理模型。对角线 y=x 表示性能相等，虚线表示恒定差距水平（4.0% 和 15.0%）。所有模型均位于对角线下方，表明在图像交错输入下性能一致较低。右图放大了高性能模型。Gemini-3-Flash 实现了最小差距（4.2%）。推理模型通常表现出较小的差距（4.0%–15.0%），而非推理模型往往具有明显更大的差距。## 1 引言

多模态大语言模型（MLLMs）应当具备语义不变性，即在语义等价的输入下，无论以纯文本还是交错图像形式呈现，都能产生一致的预测[41 (https://arxiv.org/html/2607.28640#bib.bib18),36 (https://arxiv.org/html/2607.28640#bib.bib19),7 (https://arxiv.org/html/2607.28640#bib.bib20)]。然而，这种跨模态一致性在实践中常常被打破。以图2 (https://arxiv.org/html/2607.28640#S2.F2) 的“最终基准”面板中的示例为例：图像交错版本与原始版本在语义上对齐，但关键概念（如“扑克牌”、“A牌”、“油箱”）已被替换为相应的图像。在 42 个被评估的 MLLM 中，有 11 个能正确回答纯文本版本，却在图像交错输入上出错，这揭示了语义不变性的系统性违背。我们将这一现象形式化为*模态差距*，定义为当语义等价的内容以文本形式与多模态形式呈现时，模型性能的差异。为了系统性地研究这一差距，我们引入了 TokenSwap，一种将纯文本数据集转换为图像交错版本并保持跨模态语义对齐的通用方法。与将整个输入转换为图像（例如将文本渲染为图像[48 (https://arxiv.org/html/2607.28640#bib.bib15),47 (https://arxiv.org/html/2607.28640#bib.bib16)]）不同，TokenSwap 在概念层面操作，将单个文本概念替换为语义对齐的自然图像，同时保留周围的上下文和结构（图2 (https://arxiv.org/html/2607.28640#S2.F2)）。我们将 TokenSwap 应用于 MMLU[16 (https://arxiv.org/html/2607.28640#bib.bib1)]，构建了 TokenSwap-Bench，该基准包含 1,516 个样本和 6,946 张图像，专门用于量化模态差距。在 42 个最先进的 MLLM 上，我们观察到明显的模态差距：从纯文本输入到图像交错输入，性能下降范围为 4.2% 至 47.4%，平均下降 19.6% ± 3.3%（95% 置信区间），如图1 (https://arxiv.org/html/2607.28640#S0.F1) 所示。进一步观察发现，面向推理的模型表现出显著更小的差距（平均 10.1%），而非推理模型则达到 25.5%。我们还发现，常见的提示策略（如思维链和少样本提示）无法可靠地缩小模态差距。这些发现表明，面向推理的模型差距较小更可能与其特殊的训练时机制有关。此外，如图2 (https://arxiv.org/html/2607.28640#footnote2) 所示，仅扩展训练计算量只能带来边际收益：FLOPs 增加 10 倍仅使差距缩小约 2.8%。最后，与先前主要以诊断为主的工作[48 (https://arxiv.org/html/2607.28640#bib.bib15),47 (https://arxiv.org/html/2607.28640#bib.bib16),36 (https://arxiv.org/html/2607.28640#bib.bib19)]不同，我们证明在预训练和后训练阶段，通过 TokenSwap 将图像交错版本与文本数据结合，可以有效缓解模态差距。据我们所知，这是首个基于训练的方法来缓解多模态 LLM 模态差距的工作。重要的是，这些改进不会牺牲纯文本或视觉-语言性能，在某些情况下甚至会带来轻微提升。我们的贡献总结如下：

1. 我们提出了 TokenSwap，一种以数据为中心的方法，通过将文本概念替换为语义对齐的图像来构造图像交错输入，并引入了 TokenSwap-Bench，一个用于系统性量化 MLLM 中模态差距的基准。
2. 我们评估了 42 个 MLLM，发现模态差距普遍存在。推理模型持续表现出更小的差距，而仅靠提示策略和扩展计算量带来的改进有限。
3. 我们证明 TokenSwap 训练在预训练和后训练阶段均能有效缩小模态差距，同时保持较强的纯文本和视觉-语言性能。

## 2 相关工作

##### 模态差距与跨模态一致性。*模态差距*的概念已在 CLIP[30 (https://arxiv.org/html/2607.28640#bib.bib8),19 (https://arxiv.org/html/2607.28640#bib.bib23),9 (https://arxiv.org/html/2607.28640#bib.bib24),35 (https://arxiv.org/html/2607.28640#bib.bib25),46 (https://arxiv.org/html/2607.28640#bib.bib26),38 (https://arxiv.org/html/2607.28640#bib.bib27)] 等对比视觉-语言模型中得到广泛研究，在这些模型中，图像和文本表示即使嵌入到共享空间，也可能保持分离，从而导致表示层面的差异[21 (https://arxiv.org/html/2607.28640#bib.bib28),33 (https://arxiv.org/html/2607.28640#bib.bib30),11 (https://arxiv.org/html/2607.28640#bib.bib31),43 (https://arxiv.org/html/2607.28640#bib.bib32),12 (https://arxiv.org/html/2607.28640#bib.bib33),31 (https://arxiv.org/html/2607.28640#bib.bib29)]。而关于多模态大语言模型（MLLMs）的相关工作则转而研究*跨模态一致性*，即评估当相同语义内容以不同模态呈现时，模型是否产生一致的预测[7 (https://arxiv.org/html/2607.28640#bib.bib20),45 (https://arxiv.org/html/2607.28640#bib.bib21),1 (https://arxiv.org/html/2607.28640#bib.bib22),48 (https://arxiv.org/html/2607.28640#bib.bib15),47 (https://arxiv.org/html/2607.28640#bib.bib16),39 (https://arxiv.org/html/2607.28640#bib.bib17),36 (https://arxiv.org/html/2607.28640#bib.bib19),41 (https://arxiv.org/html/2607.28640#bib.bib18)]。这些研究表明，MLLM 在不同模态下经常表现出不一致的行为，受到渲染选择、视觉属性和领域结构等因素的影响。更多相关工作细节见附录 D (https://arxiv.org/html/2607.28640#A4)。与这些工作相比，我们的设置有两个关键不同之处。首先，先前的研究通常侧重于整个输入的模态转换、渲染文本设置或具有标准化符号表示的高度结构化领域，而我们考虑的是将自然图像交错插入文本输入的开放域设置。值得注意的是，TokenSwap 可以将任意现有的文本基准转换为其图像交错版本。如第 4.7 节 (https://arxiv.org/html/2607.28640#S4.SS7) 所讨论，我们的基准与先前的基准相比，为模态差距提供了互补的视角。其次，先前的工作主要以诊断为主，对缓解策略的探索有限。相比之下，我们不仅对 42 个 MLLM（包括最近的推理模型）进行了全面评估，还证明了通过基于 TokenSwap 的训练可以有效缩小模态差距。