通过可操控模型合并增强多语言推理

# 通过可调控模型融合增强多语言推理能力
来源：https://arxiv.org/html/2606.19002
Zhuoran Li¹, Rui Xu², Jian Yang³, Junnan Liu⁴, Zhijun Chen³, Qianren Mao⁵, Hongcheng Guo², Jiaheng Liu⁶, Likang Xiao³, Ming Li⁷, Xiaojie Wang¹†  
¹北京邮电大学，²复旦大学，³北京航空航天大学，⁴蒙纳士大学，⁵中关村实验室，⁶南京大学，⁷清华大学

###### 摘要

模型融合是一种有效的技术，用于组合多语言模型和推理模型的能力。通过对齐不同模型的特征空间，它在多语言推理任务中取得了有前景的泛化效果。然而，融合后的单一模型往往难以解决源模型之间的冲突，导致性能次优。换句话说，一刀切的融合策略可能无法适应不同输入的特征，而某些输入可能需要优先考虑某些模型。为此，我们提出一种可调控模型融合框架（ST-Merge），以动态调节每个源模型的贡献。为实现这一思路，我们引入了一种门控交叉注意力机制，以自适应方式对两个关注的源模型进行加权或过滤。大量实验表明，ST-Merge 在涵盖 21 种语言的四个多语言推理基准上持续优于多个强基线方法。

通过可调控模型融合增强多语言推理能力

Zhuoran Li¹, Rui Xu², Jian Yang³, Junnan Liu⁴, Zhijun Chen³, Qianren Mao⁵, Hongcheng Guo², Jiaheng Liu⁶, Likang Xiao³, Ming Li⁷, Xiaojie Wang¹††††通讯作者
¹北京邮电大学，²复旦大学，³北京航空航天大学，⁴蒙纳士大学，⁵中关村实验室，⁶南京大学，⁷清华大学

## 1 引言

多语言推理旨在赋予大语言模型（LLM）跨语言执行复杂推理任务的能力。当低资源语言缺乏或没有标注时，这一能力尤为珍贵。近年来，推理大语言模型（如 MetaMath [Yuet al., 2024 (https://arxiv.org/html/2606.19002#bib.bib5)] 和 Orca [Mitraet al., 2023 (https://arxiv.org/html/2606.19002#bib.bib17)]）通过在源语言数据上进行参数高效微调，并直接应用于目标语言数据，取得了显著的性能提升（如图 1 (https://arxiv.org/html/2606.19002#S1.F1)(a) 所示）。

此外，研究发现，通过引入外部多语言编码器来替换或增强原始 LLM 的查询嵌入，额外的多语言表示对齐能够进一步改善低资源语言的推理性能。这种策略被称为模型融合，已在许多多语言推理任务中展现出改进效果 [Yoonet al., 2024 (https://arxiv.org/html/2606.19002#bib.bib4); Huanget al., 2024 (https://arxiv.org/html/2606.19002#bib.bib3)]（如图 1 (https://arxiv.org/html/2606.19002#S1.F1)(b) 所示）。

![参照图注](https://arxiv.org/html/2606.19002#S1.F1)
图 1：我们 ST-Merge 思想的示意图。(a) 将 LLM 直接应用于所有语言。(b) 一刀切的模型融合方法。(c) 所提出的可调控模型融合方法学习针对不同输入调节每个源模型的贡献。LLM/ModelB 表示推理 LLM，ModelA 表示外部多语言编码器。

然而，作为一刀切的策略，当前固定的模型融合方法难以在跨语言输入上实现最优平衡。一方面，过度依赖外部多语言编码器会稀释原始 LLM 固有的核心推理能力，可能导致灾难性遗忘。另一方面，对外部编码器的依赖不足会阻碍低资源语言的理解，从而限制推理性能。现有研究观察到，固定的模型融合往往导致 LLM 已经熟练的语言的推理能力下降 [Yoonet al., 2024 (https://arxiv.org/html/2606.19002#bib.bib4)]。因此，有必要设计一种自适应方案，根据输入特征动态调节模型。

在本文中，我们首先通过引入手动标量权重 ωA 和 ωB 进行探索性分析，分别调节多语言编码器和推理 LLM 的表示强度。如图 2 (https://arxiv.org/html/2606.19002#S1.F2) 所示，准确率的热图展示了跨语言的不同协作模式。对于英语，当多语言编码器的权重 ωA 相对较低时，性能达到最优。这表明，对于基础 LLM 已经熟练的语言，过度依赖外部多语言信号可能成为噪声，干扰 LLM 固有的推理路径。相反，对于斯瓦希里语，只有当多语言编码器显著贡献（高 ωA）时，性能才达到峰值。此时，基础 LLM 缺乏必要的语言基础，放大外部表示对于弥合语义鸿沟并激活推理能力至关重要。

![参照图注](https://arxiv.org/html/2606.19002#S1.F2)
图 2：在 MGSM 上使用两个源模型不同手动权重组合的准确率。深蓝色网格表示更高的推理准确率。

为了同时实现低资源语言理解的有效利用和固有推理能力的保持，我们提出了一种带有门控交叉注意力的可调控模型融合框架（ST-Merge）。与依赖固定的表示拼接不同，我们的方法使模型能够动态调节每个源模型（即多语言编码器和推理 LLM）的贡献，从而实现更灵活、更自适应的协调。这种设计有助于实现输入感知的调制建模，使融合模型能够将归纳偏置转向与当前输入最匹配的源模型。因此，在不同语言上下文中能产生更准确、更具针对性的推理。本文的主要贡献如下：

- 我们提出了一种可调控模型融合框架（ST-Merge），用于调节多语言理解和推理保持，从而支持多语言推理。
- 我们设计了一种门控交叉注意力机制，以动态调节源模型的贡献。
- 在涵盖 21 种语言的四个多语言推理基准上的大量实验表明，ST-Merge 持续优于强基线方法。

## 2 相关工作

### 2.1 多语言推理

增强以英语为中心的 LLM 的多语言推理能力仍是一个关键挑战。现有方法大致可分为基于翻译的方法和模型融合范式。基于翻译的策略，包括在翻译数据集上进行微调 [Zhuet al., 2024 (https://arxiv.org/html/2606.19002#bib.bib6)] 或使用外部翻译器 [Shiet al., 2023 (https://arxiv.org/html/2606.19002#bib.bib1)]，已显示出显著的性能提升。然而，这些方法由于严重依赖高质量平行语料和自回归解码的计算延迟，会带来大量的计算开销。相反，模型融合近年来成为一种流行的替代方案 [Yoonet al., 2024 (https://arxiv.org/html/2606.19002#bib.bib4); Huanget al., 2024 (https://arxiv.org/html/2606.19002#bib.bib3)]，旨在结合不同专家的优势。尽管前景广阔，当前的融合技术通常采用静态融合策略，常常忽略了多语言编码器与推理 LLM 之间的固有特征冲突和干扰。为解决此问题，我们提出了 ST-Merge，引入了一个动态门控网络。该方法允许灵活、上下文感知的模型融合，有效解决模型间冲突，同时最大化多语言理解与逻辑推理之间的协作。

### 2.2 模型融合

模型融合旨在将多个模型的优势整合到一个统一架构中，已被广泛用于增强模态集成 [Sunget al., 2023 (https://arxiv.org/html/2606.19002#bib.bib20); Chenet al., 2024a (https://arxiv.org/html/2606.19002#bib.bib19)] 和任务泛化 [Bandarkaret al., 2025 (https://arxiv.org/html/2606.19002#bib.bib16); Duet al., 2025 (https://arxiv.org/html/2606.19002#bib.bib18)] 等能力。现有工作大致可分为两类：同质融合（合并相同架构的模型）和异质融合（跨架构或模态边界合并模型）。近期研究探索了用于跨语言迁移学习的模型融合 [Yoonet al., 2024 (https://arxiv.org/html/2606.19002#bib.bib4); Huanget al., 2024 (https://arxiv.org/html/2606.19002#bib.bib3)]，但在多语言推理设置中往往受限于可控性不足和对齐问题。相比之下，我们的工作引入了一种可调控模型融合方法，能够动态调节表示，从而在低资源和高资源语言的推理中实现多语言编码器与推理 LLM 之间更好的协调。

### 2.3 门控注意力机制

门控交叉注意力机制已发展用于通过利用可学习权重选择性融合异构表示 [Chaplotet al., 2018 (https://arxiv.org/html/2606.19002#bib.bib26); Leeet al., 2022 (https://arxiv.org/html/2606.19002#bib.bib31)]。这些方法采用乘法或残差门控策略动态加权特征，有效过滤噪声并增强融合任务中的可解释性 [Kim and Shin, 2021 (https://arxiv.org/html/2606.19002#bib.bib30); Ortiz-Perezet al., 2025 (https://arxiv.org/html/2606.19002#bib.bib27)]。近期研究将这一范式扩展到多种架构，包括用于音视频识别的基于路由器的门控和用于大语言模型的稀疏门控 [Jeonget al., 2025 (https://arxiv.org/html/2606.19002#bib.bib29); Qiuet al., 2025 (https://arxiv.org/html/2606.19002#bib.bib28)]。然而，尽管这些机制在多模态设置中已证明有效，但它们在模型融合框架内引导跨语言对齐的潜力仍未被探索。

## 3 可调控模型融合

在本节中，我们介绍所提出的可调控模型融合（ST-Merge）方法，该方法旨在根据具体输入问题对已关注的模型进行加权和过滤。图 3 (https://arxiv.org/html/2606.19002#S3.F3) 展示了 ST-Merge 框架的概览。我们将从以下两个阶段详细描述我们的方法：特征空间对齐和门控交叉注意力学习。

#### 问题形式化

多语言推理可形式化为文本生成任务。给定输入序列 x（例如一个数学问题），模型旨在生成目标输出序列 y（例如思维链和答案）。形式上，目标输出的语言建模似然表示为：

p(y|x) = ∏ᵢᴸ p(yᵢ|x, y<ᵢ)    (1)

在模型融合的范式下，我们假设存在一个多语言编码器 m_A 和一个推理 LLM m_B。我们的目标是学习一个融合模型 m_{A⊕B}，以优化生成概率 p(y|x)，确保在不同语言中保持推理准确率。

### 3.1 特征空间对齐

首先，我们为每个输入序列提取不同的特征。具体而言，我们利用多语言编码器捕获语言理解特征，利用大语言模型（LLM）提取推理特征。

#### 多语言特征

多语言特征提取由 mT5 编码器 [Xueet al., 2021 (https://arxiv.org/html/2606.19002#bib.bib12)] 完成。给定输入序列 x，我们使用多语言模型将其编码为通用表示 H_A，从而减轻跨语言理解的复杂性：

H_A = Encoder(x)    (2)

其中 H_A ∈ R^{l_A × d_A} 是多语言编码器最后一层的隐藏状态输出，l_A 表示原始输入的序列长度，d_A 是隐藏维度。

![参照图注](https://arxiv.org/html/2606.19002#S3.F3)
图 3：所提出的用于多语言推理的可调控模型融合方法 ST-Merge 的框架。

#### 推理特征

我们利用基于 LLaMA 的参数高效微调推理 LLM（例如 MetaMath [Yuet al., 2024 (https://arxiv.org/html/2606.19002#bib.bib5)]）来提取推理特征。为充分激活 LLM 的内在推理能力，我们在原始输入 x 后添加一个思维链提示 p（例如“让我们逐步思考”），形成提示后的序列 x' = [x; p]。然后我们直接通过嵌入层处理该序列：

H_B = Embedding(x')    (3)

其中 H_B ∈ R^{l_B × d_B} 表示推理 LLM 语义空间中的表示，l_B 是带提示的原始输入的序列长度，d_B 是 LLM 嵌入维度。

#### 特征对齐

由于表示 H_A 位于多语言表示空间中，与推理 LLM 空间分离，提取的特征无法直接用于推理。因此，我们通过一个映射层将多语言特征投影到推理空间：

Ĥ_A = Mapping(H_A)    (4)

其中 Ĥ_A ∈ R^{l_A × d_B} 是 H_A 在推理特征空间上的投影。除非另有说明，Mapping(·) 实现为一个两层多层感知机（MLP）。此变换对齐了多语言编码器和推理 LLM 的语义空间，尽管基础模型的权重被冻结，但仍能实现有效的特征融合。

### 3.2 门控交叉注意力学习

为克服固定模型融合的局限性，我们引入了一个门控交叉注意力网络，以根据具体输入动态估计多语言特征 Ĥ_A 和推理特征 H_B 的最优权重。

#### 交叉注意力

我们首先促进两种特征之间的全面信息交互，以构建用于门控估计的整体上下文。形式上，推理特征 H_B 作为查询 Q_B，关注对齐后的多语言表示 Ĥ_A，后者充当键 K_A 和值 V_A。我们使用 H_B 作为查询，以确保注意力机制锚定在推理任务的语义空间中。

K_A, V_A = Ĥ_A W_k^K, Ĥ_A W_k^V   ...