基于资源感知的语音编码器混合体打破多对多语音到文本翻译中的多语言诅咒

# 打破多对多语音到文本翻译中的多语言诅咒：基于资源感知的语音编码器混合

###### 摘要

多模态大语言模型（MLLMs）在语音到文本翻译（S2TT）中取得了显著成功。然而，在处理多语言语音输入时，所有语言共享单个语音编码器会遭受多语言诅咒：不同资源水平的语言会竞争有限的表示能力，导致高资源语言性能强劲，但低资源语音性能大幅下降。为了解决这一问题并提高多语言一致性，我们提出了 MSRT，一个围绕资源感知的语音编码器混合（MoSE）构建的新型框架。MoSE 使用显式语言路由器将每条话语分配给合适的专家编码器。冻结专家保留高资源语言能力，而可训练专家适应并专精于中、低资源语言。我们进一步引入了五阶段课程学习策略，大幅降低数据依赖性，每种语言仅需 10 小时配对 S2TT 数据即可实现有效对齐。我们在 45 种语言上进行了广泛实验，系统评估了全部 45×44 个翻译方向。我们的 4B 参数模型达到了最先进性能，优于更大的基线模型。实证分析表明，MoSE 同时提升了高、中、低资源语言的性能，其中低资源语音的提升最大，从而在不牺牲高资源性能的前提下打破了多语言诅咒。为了支持未来的多语言 S2TT 研究，我们开源了代码和模型。

代码——https://github.com/yxduir/MSRT

## 引言

语音到文本翻译（S2TT）旨在将源语言的语音翻译成目标语言的文本。传统上，这些系统采用级联流水线：首先由自动语音识别（ASR）组件从语音中提取转写文本（Radford et al. 2023 (https://arxiv.org/html/2608.04586#bib.bib15)），然后由后续的机器翻译（MT）模型将其转换为所需语言（Shang et al. 2026 (https://arxiv.org/html/2608.04586#bib.bib17)）。近年来，人们越来越关注将语音编码器与大语言模型（LLMs）集成，以便赋予其多语言语音能力，从而推动 ASR（Ma et al. 2026 (https://arxiv.org/html/2608.04586#bib.bib7)）和 S2TT 任务（Du et al. 2026 (https://arxiv.org/html/2608.04586#bib.bib10)）的发展。

参见图注
图 1：按源语言和资源水平划分的多语言一致性。一致性是指某一源语言（跨 44 个目标方向）的平均翻译分数与英语平均值的比值。数值越高越好，虚线竖线表示每个模型在资源组内的平均值。

尽管取得了这些进展，当前的多模态大语言模型在 S2TT 中仍然强烈以英语为中心。它们在英语到 X 的方向上表现良好，但在非英语语音的多对多翻译中会退化。如图 1 (https://arxiv.org/html/2608.04586#Sx1.F1) 所示，它们在低资源语音输入上的一致性分数明显低于英语，显示出显著的跨语言性能差距。这种差距不仅仅是目标生成的问题：即使目标集合和解码器保持不变，改变源语音语言也会导致很大的质量变化。因此，以英语为中心的结果可能夸大多语言覆盖范围，并掩盖多语言语音输入上的失败。

造成这种不一致的一个重要原因是，大多数多语言多模态大语言模型（Xu et al. 2025 (https://arxiv.org/html/2608.04586#bib.bib25)）依赖单一共享语音编码器来处理所有输入语言。随着语言覆盖范围的扩大，这种架构会受到“多语言诅咒”（Conneau et al. 2020 (https://arxiv.org/html/2608.04586#bib.bib3)）的影响：有限的编码器容量迫使不同资源水平的语言竞争相同的表示空间。高资源语言需要保留预训练的声学知识，而中、低资源语言则需要更大的适应性调整。因此，联合优化可能会覆盖已有表示，或对稀缺语言的语音特征拟合不足。

受大语言模型中专家混合（MoE）架构的启发（Blevins et al. 2024 (https://arxiv.org/html/2608.04586#bib.bib6)），我们提出了 MSRT，一个以资源感知的语音编码器混合（MoSE）为核心的 S2TT 多模态大语言模型。两个同构的 Whisper 编码器（Radford et al. 2023 (https://arxiv.org/html/2608.04586#bib.bib15)）承担非对称角色：冻结专家处理高资源语言，而可训练专家适应中、低资源语音。源语言 token 将每条话语路由到一个专家，目标语言 token 控制生成。这种设计在单编码器的推理成本下实现了专业化。我们还将课程策略（Du et al. 2025 (https://arxiv.org/html/2608.04586#bib.bib1)）扩展为五个难度递增的阶段，逐步建立语音-文本对齐和翻译能力。

我们在 FLEURS 上对所有 45×44 个非恒等翻译方向评估了 MSRT，并对来自 11 个语系的代表性语言进行了详细比较。MSRT-4B 实现了最高的平均 COMET 分数 83.3，优于 Gemini-3.5-Flash-Lite API 和规模更大的 MCAT-27B（Du et al. 2026 (https://arxiv.org/html/2608.04586#bib.bib10)）。在整个方向网格上，MSRT 在 1,552 个方向（78.4%）上获得至少 80 的 COMET 分数，而 Gemini 为 928 个。消融研究表明，MoSE 在高、中、低资源语言上均提升了性能，其中低资源语言提升最大，同时进一步增强了高资源性能。在所有资源组上的一致提升表明，MoSE 打破的是多语言诅咒，而不是用高资源性能换取低资源改进。在 CoVoST-2 上的实验进一步证明了其跨数据集的稳健泛化能力。

我们的贡献总结如下：

- •我们提出了 MoSE，一种资源感知的语音编码器混合架构，通过保留高资源知识并针对中、低资源语言进行定向适应，打破了多语言诅咒。
- •我们推出了 MSRT-4B，一个紧凑的 4B 参数模型，仅需每种语言 10 小时配对 S2TT 数据即可支持 45 种语言之间的所有翻译方向。我们开源了代码和模型，以促进可复现研究。
- •我们全面评估了 45 种语言之间的全部 1,980 个翻译方向，展示了在多样语系和资源水平上的广泛而可靠的多对多翻译能力，尤其是在现实多语言环境中的低资源语音上。

## 相关工作

#### 语音到文本翻译。

传统语音到文本翻译（S2TT）采用自动语音识别与机器翻译级联的方式。虽然这种设计可以复用强任务特定模型，但识别错误会向下游传播，且两阶段解码增加了延迟。端到端 S2TT 则直接学习从源语音到目标文本的映射。SeamlessM4T 将多语言语音识别、翻译与文本翻译集成在单个模型中，证明了一种架构可以支持多种语音-文本任务和语言（Barrault et al. 2023 (https://arxiv.org/html/2608.04586#bib.bib8)）。然而，它的成功仍然高度依赖配对监督。ZeroSwot 通过 CTC 压缩和最优传输对齐将 ASR 训练的语音编码器与大规模多语言翻译模型连接起来，从而在无需配对翻译数据的情况下实现直接 S2TT，降低了对配对数据的依赖（Tsiamas et al. 2024 (https://arxiv.org/html/2608.04586#bib.bib2)）。这些研究将语音-文本对齐确立为端到端翻译中的核心挑战。

#### 多对多语音到文本翻译。

多对多 S2TT 扩展了源语言和目标语言的覆盖范围，要求单个模型在保留语言特定声学线索的同时控制多语言生成。SeamlessM4T 通过共享的识别和翻译组件展示了广泛的多语言覆盖（Barrault et al. 2023 (https://arxiv.org/html/2608.04586#bib.bib8)）。通用多模态大语言模型（如 Qwen3-Omni）进一步表明，预训练语言主干可以支持多语言语音理解和翻译（Xu et al. 2025 (https://arxiv.org/html/2608.04586#bib.bib25)）。专用多模态大语言模型则更直接地利用了 LLM 的翻译知识：LLM-SRT 通过课程学习将其迁移到多对多 S2TT（Du et al. 2025 (https://arxiv.org/html/2608.04586#bib.bib1)），而 MCAT 将基于多模态大语言模型的翻译扩展到 70 种语言（Du et al. 2026 (https://arxiv.org/html/2608.04586#bib.bib10)）。然而，增加语言覆盖范围并不能消除资源不平衡或语言间的干扰。这一局限性促使我们需要在语音侧设计一种机制，根据不同语言的数据资源和声学变化来分配适应能力。

#### 专家混合。

MoE 已在多模态和语音模型中从多个角度得到探索。Uni-MoE 激活模态特定专家以减少统一多模态大语言模型中的跨模态干扰（Li et al. 2025 (https://arxiv.org/html/2608.04586#bib.bib18)），而 SimulMega 使用专家路由器作为策略，在同声传译中平衡延迟和质量（Le et al. 2025 (https://arxiv.org/html/2608.04586#bib.bib19)）。PaM 根据任务提示选择异构音频编码器以服务不同的音频任务（Shan et al. 2025 (https://arxiv.org/html/2608.04586#bib.bib20)），DialectMoE 则为多方言 ASR 学习动态专家路由（Zhou et al. 2024 (https://arxiv.org/html/2608.04586#bib.bib22)）。相比之下，本文专门针对多语言 S2TT 探索 MoE，并聚焦于语言资源不平衡所导致的干扰。MSRT 根据资源水平将源语言路由到两个同构 Whisper 编码器之间，这两个编码器承担非对称角色：冻结专家保留高资源表示，可训练专家专精于中、低资源语音。因此，其显式语言级路由在不采用 token 级负载均衡或任务相关专家选择的情况下，研究多语言专家分工。

参见图注
图 2：MSRT 框架概览。基于提示中的源语言 token，MoSE 将高资源语音路由到冻结编码器，将中、低资源语音路由到可训练编码器。

## 方法论

### 模型架构

如图 2 (https://arxiv.org/html/2608.04586#Sx2.F2) 所示，MSRT 将资源感知的语音编码器混合（MoSE）、语音适配器和预训练 LLM 连接起来。

#### 语音编码器混合。

MoSE 由两个编码器和一个显式语言路由器组成。它不是在监督不均衡的语言之间共享一个编码器，而是将高资源知识保留与中、低资源适应分离，同时每条话语只激活一个专家。这种设计通过改善代表性不足的语言而不牺牲高资源性能，打破了多语言诅咒。

- •冻结专家。冻结专家 \(E_f\) 保留原始 Whisper 编码器并固定参数。它保留高资源语言的通用语音表示，防止灾难性遗忘，并在适应过程中锚定共享语音接口。
- •可训练专家。可训练专家 \(E_t\) 共享 Whisper 初始化，但适应中、低资源语音，捕捉代表性不足的口音和音系模式。其架构与 \(E_f\) 匹配，因此两个专家产生兼容的表示，并共享同一个适配器而无需专家特定投影。
- •显式语言路由器。路由器将每个源语言 token 映射到其资源组的专家：高资源语言使用 \(E_f\)，而中、低资源语言使用 \(E_t\)。表 3 (https://arxiv.org/html/2608.04586#Sx4.T3) 列出了所有分配。话语级路由使所有帧保留在单一声学路径上，既不需要学习门控，也不需要均衡损失。

总体而言，设 \(\mathcal{R}(\ell_s)\) 表示源语言 \(\ell_s\) 所选专家。MoSE 输出写为

\[
H_{\mathrm{MoSE}}(x,\ell_s)=E_{\mathcal{R}(\ell_s)}(x),\quad \mathcal{R}(\ell_s)\in\{f,t\}.
\]
(1)

这里，\(\ell_s\in\mathcal{L}_{\mathrm{high}}\) 时 \(\mathcal{R}(\ell_s)=f\)，否则 \(\mathcal{R}(\ell_s)=t\)，覆盖中、低资源组。这种表述保持了单编码器的推理成本。

#### 语音适配器。

所选编码器产生变长特征。Q-Former 将其压缩为翻译感知表示，MLP 再将其投影到 LLM 隐藏空间。这些模块共同去除声学冗余，同时保留翻译所需信息。

#### LLM。

预训练 LLM 提供多语言翻译知识，并在语音侧对齐期间保持冻结，以防止灾难性遗忘。它仅在最终训练阶段解锁，以适应对齐后的声学表示。

#### 分词器扩展。

我们为 FLEURS 语言添加了专用语言 token（Conneau et al. 2023 (https://arxiv.org/html/2608.04586#bib.bib9)）。源语言 token 控制 MoSE 编码器选择，目标语言 token 指定 LLM 翻译方向。它们共同提供显式语言控制并减少意外切换。

#### 文本提示。

如图 2 (https://arxiv.org/html/2608.04586#Sx2.F2) 和表 1 (https://arxiv.org/html/2608.04586#Sx3.T1) 所示，提示显式指示 LLM 从源语言翻译到目标语言。源语言 token 还通过显式语言路由器控制编码器选择，而目标语言 token 则指定所需输出语言。

表 1：五阶段课程的提示设计。

### 五阶段课程学习

遵循 Du 等人（2025 (https://arxiv.org/html/2608.04586#bib.bib1)）的方法，我们将 ASR、语音引导机器翻译（SMT）和语音识别与翻译联合（SRT）组织为表 1 (https://arxiv.org/html/2608.04586#Sx3.T1) 中的五个阶段。表 2 (https://arxiv.org/html/2608.04586#Sx3.T2) 总结了每个阶段优化的模块；每个阶段都从前一个检查点开始。

- •阶段 I：ASR 对齐。Q-Former 和 MLP 适配器依次在仅英语、高资源多语言和全面多语言 ASR 数据上训练，建立稳定的多语言语音-文本接口，同时语音专家和 LLM 保持冻结。
- •阶段 II：专家分工。针对多语言 ASR 激活 MoSE 路由。冻结专家 \(E_f\) 保留高资源表示，而 \(E_t\) 针对中、低资源语音进行优化；共享适配器继续训练。
- •阶段 III：翻译激活。SMT 提供真实转写文本以及源语言和目标语言 token。适配器被优化以连