modality-gap

本文介绍了TokenSwap，一种将纯文本基准测试转换为图像交错对应物的方法，以及TokenSwap-Bench，用于衡量42个多模态大语言模型的模态差距。研究发现推理模型的差距较小，并表明基于TokenSwap的训练可以缩小这一差距。

提出了 TextPro-SLM，一种通过处理口语输入使其类似于具备韵律感知能力的文本来最小化模态差距的语音大语言模型，以少量的训练数据实现了强大的副语言理解能力。

本文提出了 AnisoAlign 框架，该框架通过应用各向异性几何校正来解决多模态模型中的模态间隙问题，从而实现有效的非配对模态对齐。

本文介绍了CrossMath，一个受控多模态推理基准，揭示了当前视觉语言模型的一个关键局限：它们主要在文本空间进行推理，而非真正的视觉接地推理，视觉输入往往会降低性能相比仅文本基线。作者提出了微调方法来减轻这种模态差距并改进多模态推理能力。