论文页面 - LoMo：局部模态替换实现更深层的视觉-语言融合

来源：https://huggingface.co/papers/2605.30265

摘要

视觉-语言模型由于训练数据的偏差而存在模态敏感性问题，但一种名为局部模态替换（Local Modality Substitution）的新型数据整理方法能够改善跨模态表征对齐和推理性能。

视觉语言模型（https://huggingface.co/papers?q=Vision-Language%20Models）（VLMs）在广泛的理解和推理任务中取得了显著进展，这得益于大规模图文训练对多模态融合（https://huggingface.co/papers?q=multimodal%20fusion）的推动。理论上，将文本问题替换为其渲染后的图像版本，模型性能应基本不受影响。然而在实践中，这种模态替换（https://huggingface.co/papers?q=modality%20substitution）会导致性能显著下降。我们将这种“载体敏感性（https://huggingface.co/papers?q=carrier%20sensitivity）”问题归因于当前训练语料库中固有的偏差。在常见的图像描述、VQA、OCR以及网络来源的交错数据等数据集中，文本和图像通常被组织为截然不同且不对称的角色：文本作为语言查询，图像作为视觉参考。这种数据偏差导致VLMs在不同模态中表现出对信息获取的明显偏好。因此，VLMs无法对齐语义等价内容在文本和视觉载体上的表征，使得模型推理在模态替换（https://huggingface.co/papers?q=modality%20substitution）下变得脆弱。为了解决这个问题，我们提出了局部模态替换（https://huggingface.co/papers?q=Modality%20Substitution）（LoMo），一种轻量级、架构无关的数据整理（https://huggingface.co/papers?q=data%20curation）范式，旨在为语义等价的文本和图像载体之间的跨模态表征不变性（https://huggingface.co/papers?q=cross-modal%20representational%20invariance）提供监督。LoMo通过将单模态提示重构为无缝交错的、多模态序列来实现这一点。它动态选择目标文本跨度，并将其重塑为渲染图像，从而在“文本、视觉、文本”载体中保持相同的语义。在13个不同的多模态基准上的大量实验表明，LoMo显著提升了整体多模态推理（https://huggingface.co/papers?q=multimodal%20reasoning）能力，并实现了更深的跨模态融合。具体来说，它在基础模型（https://huggingface.co/papers?q=foundational%20models）上带来了一致的改进：在LLaVA-OneVision-1.5-8B上比标准SFT提高了2.67个点，在Qwen3.5-9B上提高了2.82个点。

查看arXiv页面 (https://arxiv.org/abs/2605.30265)查看PDF (https://arxiv.org/pdf/2605.30265)项目页面 (https://maplebb.github.io/LoMo/page/)GitHub1 (https://github.com/Maplebb/LoMo)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.30265)

在你的智能体中获取此论文：

hf papers read 2605\.30265

没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.30265 可从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.30265 可从此页面链接。

引用此论文的Space0

没有Space链接此论文

在Space README.md中引用 arxiv.org/abs/2605.30265 可从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 可从此页面链接。