VFA: 通过无视觉适应增强多模态大语言模型的多语言能力

# VFA：通过无视觉适应增强多语言多模态大语言模型
来源：https://arxiv.org/html/2608.26155
易希达·李<sup>1</sup>，石亚晴<sup>3</sup>†，阮志文<sup>1</sup>，张东东<sup>2</sup>，姜凌捷<sup>4</sup>，
黄少涵<sup>2</sup>，陈云<sup>3,5</sup>，陈冠华<sup>1</sup>，魏峰<sup>2</sup>
<sup>1</sup>南方科技大学，<sup>2</sup>微软亚洲研究院
<sup>3</sup>上海财经大学，<sup>4</sup>北京大学
<sup>5</sup>计算与经济学交叉研究MoE重点实验室

###### 摘要
多模态大语言模型（MLLMs）发展迅速，但大多数模型仍以英语为中心，因为多语言多模态指令调优受限于高质量非英语图文监督数据的稀缺性和高成本。尽管多语言文本数据丰富，但朴素的文本微调会破坏视觉-语言对齐，并导致灾难性遗忘。我们提出**无视觉适应**（VFA），一种通过在共享LLM骨干网络上组合互补任务向量，将多语言语言增强与视觉对齐解耦的框架。具体而言，我们在多语言文本数据上微调基础LLM以获得多语言任务向量，然后将其与MLLM的视觉对齐任务向量进行合并。在五个MLLM和六个多语言多模态基准测试上的实验表明，VFA在提升性能的同时，保持了通用的多模态和纯文本能力。此外，仅使用不到2%的文本数据，VFA就能显著缩小与完全多模态训练模型的差距，展现了其数据高效性。

VFA：通过无视觉适应增强多语言MLLMs
易希达·李<sup>1</sup>††<sup>注：</sup>工作于微软亚洲研究院实习期间完成。††<sup>注：</sup>同等贡献。，石亚晴<sup>3</sup>†，阮志文<sup>1</sup>，张东东<sup>2</sup>，姜凌捷<sup>4</sup>，
黄少涵<sup>2</sup>，陈云<sup>3,5</sup>，陈冠华<sup>1</sup>††<sup>注：</sup>通讯作者。，魏峰<sup>2</sup>
<sup>1</sup>南方科技大学，<sup>2</sup>微软亚洲研究院
<sup>3</sup>上海财经大学，<sup>4</sup>北京大学
<sup>5</sup>计算与经济学交叉研究MoE重点实验室

## 1 引言
（请参见图注）
**图1：VFA概览。** 上方：Idefics3-8B在XM100数据集上的多语言视觉性能，VFA提升了多语言能力，而直接的纯文本微调则降低了性能。下方：VFA通过两阶段无视觉策略解耦多模态适应：第一阶段在文本数据上微调LLM，第二阶段将多语言知识合并到MLLM中。

多模态大语言模型（MLLMs）在统一接口中对图像和文本进行推理的能力迅速发展，支持视觉问答、基于定位的对话和多模态推理（Tong等人，2025 (https://arxiv.org/html/2608.26155#bib.bib57)）。随着MLLMs走向实际部署，多语言和跨文化（Song等人，2026 (https://arxiv.org/html/2608.26155#bib.bib73)）能力变得愈发重要：模型不仅需要解析和遵循非英语指令，还需将文化特定概念与视觉语境关联（Bai等人，2025a (https://arxiv.org/html/2608.26155#bib.bib58); Nyandwi等人，2025 (https://arxiv.org/html/2608.26155#bib.bib63)）。然而，大多数开源MLLMs仍以英语为中心，当提示、输出或基准测试超出英语范围时，其性能通常会显著下降，限制了其在全球用户和场景中的应用（Yue等人，2024 (https://arxiv.org/html/2608.26155#bib.bib6)）。

构建多语言MLLMs的常用方法是利用图文对扩展多语言多模态指令调优（Yue等人，2024 (https://arxiv.org/html/2608.26155#bib.bib6); Dashi等人，2025 (https://arxiv.org/html/2608.26155#bib.bib9)）。虽然这种方法有效，但其根本上受限于数据可用性：高质量的非英语多模态监督数据仍然稀缺、收集成本高昂，且在不同语言和文化间分布不均，使得在实践中实现全面的多语言覆盖十分困难（Zhang等人，2025b (https://arxiv.org/html/2608.26155#bib.bib59)）。此外，多语言多模态训练会产生巨大的计算开销，因为视觉标记延长了输入序列，并显著增加了注意力机制和内存成本（Kuo等人，2025 (https://arxiv.org/html/2608.26155#bib.bib60)）。综上所述，这些限制阻碍了大规模多语言图文训练作为多语言适应通用解决方案的可扩展性。

多语言文本数据提供了一个诱人的替代方案：它资源丰富、获取成本更低，并且对于多语言学习更具可扩展性。然而，直接在文本上微调MLLM可能会严重干扰其已建立的跨模态对齐，可能导致多模态能力的灾难性遗忘，如图1（https://arxiv.org/html/2608.26155#S1.F1）所示。这种失败模式表明，有效的多语言适应应在加强语言能力的同时，尽量减少对多模态预训练期间学习到的视觉-语言对齐的破坏（Sanyal等人，2025 (https://arxiv.org/html/2608.26155#bib.bib61)）。

为解决这一挑战，我们提出**无视觉适应**（VFA），将多语言和多模态适应重新定义为在共享LLM骨干网络上定义的任务向量的组合。具体而言，我们将训练好的MLLM视为由视觉对齐任务向量增强的原始LLM，该向量代表编码跨模态对齐的参数变化。此外，我们通过在多语言文本数据上微调相同的原始LLM来获得多语言任务向量。VFA随后融合这些任务向量，在保留MLLM现有视觉-语言对齐的同时注入多语言能力。这种形式化缓解了在直接文本微调中常见的灾难性遗忘，并减少了对稀缺的多语言图文对的依赖。

我们在五个不同规模和模型家族的MLLMs上，在六个多语言多模态基准测试上评估了VFA。VFA始终增强了多语言性能，在8B和4B规模的LLaVA-OneVision-1.5上分别带来了+2.99和+0.57的提升。重要的是，这些增益是在很大程度上保留了通用多模态和纯文本能力的情况下获得的。此外，尽管仅在100K个文本样本上训练，VFA仍显著缩小了与依赖数百万图文对进行完全多模态训练的多语言模型之间的差距，证明了我们方法的有效性和数据高效性。总体而言，VFA为构建多语言MLLMs提供了一条实用且资源高效的途径，为未来特定领域多模态模型的研究铺平了道路。<sup>111</sup>代码可在 https://github.com/sustech-nlp/VFA 获取。

（请参见图注）
**图2：VFA总体架构。** 传统的多语言MLLM调优依赖于稀缺、昂贵的非英语图文监督和昂贵的端到端训练。VFA利用丰富的多语言*纯文本*数据，微调基础LLM以获得多语言任务向量，并将其合并到视觉对齐的MLLM中，以增强多语言能力，同时保持视觉-语言对齐。

## 2 相关工作
### 多模态大语言模型
目前，MLLMs在架构范式和通用能力方面取得了突破性进展（Wang等人，2026 (https://arxiv.org/html/2608.26155#bib.bib76), 2025b (https://arxiv.org/html/2608.26155#bib.bib77)）。闭源模型如GPT-5系列（OpenAI, 2025 (https://arxiv.org/html/2608.26155#bib.bib64)）和Gemini 2.5 Pro（Comanici等人，2025 (https://arxiv.org/html/2608.26155#bib.bib54)）展现了卓越的能力，而在开源领域，LLaVA系列（Liu等人，2023 (https://arxiv.org/html/2608.26155#bib.bib7)）通过投影层将视觉编码器与LLMs对齐，建立了一个主流范式。后续工作，如LLaVA-OneVision-1.5（An等人，2025 (https://arxiv.org/html/2608.26155#bib.bib65)）和Qwen3-VL（Bai等人，2025b (https://arxiv.org/html/2608.26155#bib.bib66)），进一步优化了训练策略。然而，大多数开源MLLMs在指令调优中严重依赖大规模文本-图像对数据集。因此，尽管这些MLLMs的语言骨干网络具有内在的多语言能力，但由于视觉对齐的多语言数据稀缺，模型在非英语任务中常常出现性能下降或产生幻觉。

### 多语言MLLMs
尽管最近的研究试图通过扩大数据规模来提高MLLMs的多语言语言能力，但高质量图像-文本数据的缺乏和高昂的训练成本构成了重大挑战（Chen等人，2023a (https://arxiv.org/html/2608.26155#bib.bib3); Ruan等人，2025 (https://arxiv.org/html/2608.26155#bib.bib2)）。例如，Yue等人（2024 (https://arxiv.org/html/2608.26155#bib.bib6)）介绍了Pangea，一系列完全开源的多语言多模态模型。通过发布39种语言的PangeaInstruct数据集，他们证明了更广泛的覆盖是提升MLLMs跨文化能力的关键。Aya Vision（Dashi等人，2025 (https://arxiv.org/html/2608.26155#bib.bib9)）利用高质量的合成数据，通过借助大规模文本生成来解决非英语指令遵循的差距。然而，这些资源密集型、数据驱动的方法受到高质量非英语图像-文本对稀缺的阻碍。相比之下，我们通过利用纯文本数据来解决这些挑战，从而显著提高了MLLMs的多语言性能。

### 用于MLLM的模型合并
模型合并提供了一种无需增加推理开销即可扩展模型能力的经济高效方式（Yang等人，2024 (https://arxiv.org/html/2608.26155#bib.bib56); Zhang等人，2025a (https://arxiv.org/html/2608.26155#bib.bib74); Du等人，2025 (https://arxiv.org/html/2608.26155#bib.bib75)）。然而，其在增强MLLMs多语言能力方面的潜力仍未得到充分探索。目前，尽管一些研究探索了通过模型合并增强MLLMs的数学（Chen等人，2025 (https://arxiv.org/html/2608.26155#bib.bib18)）或编程（Jiang等人，2025 (https://arxiv.org/html/2608.26155#bib.bib20)）能力，但将其应用于多语言适应的研究仍然有限。为填补这一空白，我们提出了一种结合微调和模型合并的方法，能够高效构建多语言MLLMs，而无需依赖大规模图文数据集。

## 3 方法
### 3.1 无视觉适应（VFA）
直接在多语言文本上微调MLLM常常会引入模态干扰，因为仅语言的更新可能会扰乱多模态训练期间学习到的视觉-语言对齐，并削弱跨语言多模态整合。因此，多语言文本理解的提升并不能可靠地转化为更强的多语言多模态性能。

为解决此问题，VFA通过任务向量的形式化将多语言学习与视觉基础解耦。在此观点下，微调被视为特定于任务的参数更新，可以与现有MLLM的视觉对齐参数进行组合。形式上，VFA首先在多语言文本数据D<sub>multi</sub>上微调基础LLM初始化参数θ<sub>base</sub>以获得θ<sub>FT</sub>：
$$\theta_{FT} \leftarrow \text{Tune}(\theta_{base}, D_{multi}), \tag{1}$$
其中Tune表示全参数微调或参数高效适应（Wang等人，2025a (https://arxiv.org/html/2608.26155#bib.bib72)）。参数差异（θ<sub>FT</sub> - θ<sub>base</sub>）被解释为多语言任务向量，并通过缩放因子α注入到MLLM骨干网络θ<sub>MLLM</sub>中：
$$\theta_{merged} = \theta_{MLLM} + \alpha (\theta_{FT} - \theta_{base}), \tag{2}$$
其中θ<sub>merged</sub>是为下游任务参数化的所得模型。相比之下，传统的多模态适应直接使用图文监督数据D<sub>visual</sub>更新MLLM参数θ<sub>MLLM</sub>：
$$\theta_{tuned} = \text{Tune}(\theta_{MLLM}, D_{visual}), \tag{3}$$
其中θ<sub>tuned</sub>表示传统微调模型的参数。

如图2（https://arxiv.org/html/2608.26155#S1.F2）所示，VFA通过利用大规模纯文本数据增强多语言能力，同时通过保持视觉编码器和投影模块冻结来保留视觉基础。多语言知识的获取独立于视觉监督，随后与视觉对齐的MLLM进行组合，从而减轻了语言适应与视觉适应之间的干扰。这种设计显著减少了对稀缺的多语言图文监督的依赖，为联合多模态微调提供了更资源高效的替代方案。此外，当多个MLLMs共享相同的底层LLM时，多语言任务向量可以训练一次并通过轻量级合并跨模型重用，而端到端多模态适应则必须为每个MLLM单独进行，导致显著更高的训练成本。

### 3.2 合并方法
我们考虑了三种代表性的合并算子，用于将多语言更新与视觉对齐的MLLM组合，每种算子在多语言能力注入和视觉-语言对齐保持之间提供了不同的权衡。

#### 权重平均（WA）
权重平均（Wortsman等人，2022 (https://arxiv.org/html/2608.26155#bib.bib11)）在预训练骨干网络和微调参数之间进行线性插值：
$$\Delta_{FT} = \theta_{FT} - \theta_{base},$$
$$\Delta_{MLLM} = \theta_{MLLM} - \theta_{base},$$
$$\theta_{merged} = \theta_{base} + \alpha \cdot \Delta_{MLLM} + (1 - \alpha) \cdot \Delta_{FT},$$
其中θ<sub>FT</sub>和θ<sub>base</sub>分别表示微调后的LLM和VLM中的原始LLM骨干网络。混合系数α ∈ [0, 1]平衡了通用多模态能力与特定任务专业知识之间的权衡。

#### 任务算术（TA）
任务算术（Ilharco等人，2023 (https://arxiv.org/html/2608.26155#bib.bib8)）构建一个捕获学习到的更新的任务向量τ，并将其添加到骨干网络：
$$\theta_{merged} = \theta_{base} + \alpha \cdot (\Delta_{FT} + \Delta_{MLLM}), \tag{5}$$
其中α是用于控制注入能力强度的缩放因子。

#### TIES-合并
为了缓解参数干扰，TIES（Yadav等人，2023 (https://arxiv.org/html/2608.26155#bib.bib12)）对任务向量应用了修剪、选举和符号合并。合并后的参数计算如下：
$$\theta_{merged} = \theta_{base} + \alpha \cdot \text{TIES}(\Delta_{FT} + \Delta_{MLLM}), \tag{6}$$
其中函数TIES(·)表示以下顺序过程：(i) 修剪以按幅度仅保留前k%的参数。