NAVER LABS Europe 对 2026 年指令跟随短轨道的提交方案

# NAVER LABS Europe 指令跟随 2026 短轨道参赛方案  
来源：https://arxiv.org/html/2607.01960  
\affiliations 1NAVER LABS Europe, 法国 2IIIT Delhi, 印度  
\correspondingauthormarcely\.zanon\-boito@naverlabs\.com  

\teaserfig  
![[未加标题的图片]](https://arxiv.org/html/2607.01960v1/training_pipeline.png)  

\teasercaption  
我们的训练流程。一个语音投影器 (SpeechMapper) (A) 和文本 LoRA 适配器 (B) 分别使用 ASR 和文本到文本数据并行训练。然后在简短的模态适应步骤 (C) 中将这些模块集成在一起。  

###### 摘要  
在本文中，我们描述了 NAVER LABS Europe 在 IWSLT 2026 指令跟随语音处理短轨道上的参赛方案。我们再次参与限制设置，开发能够联合执行英语语音到中文、意大利语和德语的 ASR、ST 和 SQA 的系统。基于我们上一届的参赛方案（在去年短轨道中排名第一），我们通过将语音投影器替换为 SpeechMapper（一种仅使用 ASR 数据学习语音到 LLM 嵌入投影的方法）来更新我们的多阶段训练流程。此外，我们引入了一个合成 SQA 数据集 fakACL，由人工生成的科学演示组成。该数据集通过提示 LLM 骨干网络、分割生成的演讲并使用 SeamlessM4T-v2-large 合成语音来构建。改进的语音投影机制与领域特定的合成数据相结合，使我们的模型能超越去年最好的短轨道系统，同时显著更紧凑且依赖更弱的 LLM 骨干网络。今年的结果使我们的系统在短轨道整体排名中并列第一。  

\contributions  

## 1 引言  
受纯文本 LLM 进步的推动，近期提出了越来越多的语音助手，既涉及语义任务 [rubenstein2023audiopalm, tang2023salmonn, defossez2024moshi, hu2024wavllm, ambilduke2025tower, speechmapper] 也涉及声学语音任务 [huang2024audiogpt, nguyen2024spirit, xu2025qwen3]。在此背景下，第二届 IWSLT 指令跟随语音处理赛道 [adelani-etal-2026-iwslt] 为开发能够直接从语音执行语义任务的语音助手提供了通用基准。该挑战提议利用 LLM 和语音基础模型 (SFMs) 构建能从英语语音输入执行多语言任务的系统，并由多语言文本指令引导。NAVER LABS Europe (NLE) 再次参与短轨道的限制设置，包括自动语音识别 (ASR)、语音翻译 (ST)、多语言口语问答 (SQA) 以及仅在测试时揭晓的惊喜指令跟随任务。ST 和 SQA 的目标语言为中文、意大利语和德语。惊喜任务的目标语言为德语和中文。参与者被允许使用 SeamlessM4T-v2-large [barrault2023seamlessm4t] 语音骨干网络和 Qwen3-4B-Instruct-2507 [qwen3technicalreport] LLM 进行训练和数据生成。  

基于我们上一届的获奖方案 [lee-etal-2025-naver]，我们采用类似的多阶段训练流程来开发能够跟随多语言指令的语音 LLM。我们的方法并行训练两个组件：(1) 一个语音到文本投影器，将来自 SeamlessM4T-v2-large 编码器的平均语音表示映射到冻结 LLM 的嵌入空间；(2) 应用于同一冻结 LLM 的纯文本 LoRA 适配器 [hu2022lora]。这些组件随后通过 (3) 一个短期的多模态多语言数据 SFT 阶段进行组合。与去年相比，我们引入了两项主要改进。首先，我们将语音投影器替换为更新版本的 SpeechMapper [speechmapper]，它能够在不需 LLM 前向传播的情况下学习语音到嵌入的映射，显著降低了计算和硬件需求。其次，我们构建了一个合成科学数据集 fakACL，以减少训练与评估数据之间的领域差距。  

本系统论文组织如下。第 2 节 (https://arxiv.org/html/2607.01960#S2) 描述了对本次挑战所使用数据的预处理。第 3 节 (https://arxiv.org/html/2607.01960#S3) 介绍了我们在本工作中利用的更新版 SpeechMapper 模型。第 4 节 (https://arxiv.org/html/2607.01960#S4) 和第 5 节 (https://arxiv.org/html/2607.01960#S5) 分别描述我们的训练流程和实验设置。第 6 节 (https://arxiv.org/html/2607.01960#S6) 展示我们的实验和讨论。第 7 节 (https://arxiv.org/html/2607.01960#S7) 介绍提交的系统。第 8 节 (https://arxiv.org/html/2607.01960#S8) 总结全文。  

## 2 数据  
我们利用限制设置中所有可用数据进行训练，包括 CoVoST2 [wang2020covost]、EuroParlST [jairsan2020a]、GigaST [ye23b_interspeech] 和 LibriSQA [librisqa]。这些数据还通过 SeamlessM4T-v2-large 机器翻译进行合成增强，以覆盖额外的目标语言。此外，我们引入了 fakACL，一个通过提示 LLM 骨干网络并用 SeamlessM4T-v2-large TTS 合成输出的科学演示合成数据集。EuroParlST、CoVoST2 和 LibriSQA 的验证集用于模型验证，而 MCIF [papi2026mcif] 用于最终模型选择。我们现在介绍数据预处理 (第 2.1 节 (https://arxiv.org/html/2607.01960#S2.SS1)) 和提示格式 (第 2.2 节 (https://arxiv.org/html/2607.01960#S2.SS2))。  

### 2.1 数据预处理  
我们创建语音到文本和文本到文本指令来训练我们的系统。附录表 5 (https://arxiv.org/html/2607.01960#A1.T5) 列出了我们的数据划分和样本数量。在所有从英语文本生成合成翻译的情况下，该过程通过 SeamlessM4T-v2-large 机器翻译进行，然后使用无参考 COMET¹¹Unbabel/wmt22-cometkiwi-da [rei-etal-2022-comet] 过滤结果，排除所有得分低于 0.85 的翻译。下面我们详细介绍每个数据集特定的预处理。  

##### GigaST、CoVoST2 和 EuroParlST  
CoVoST2 和 GigaST 覆盖英语到德语和简体中文的语言方向。EuroParlST 覆盖英语到德语和意大利语。CoVoST2 和 EuroParlST 数据集的 ASR 划分通过合并现有语言划分并去重音频文件构建。对于所有语言，通过将翻译与英语语音和参考转录分别对齐来创建语言特定的 ST 和 MT 划分。对于 GigaST，由于我们的 LLM 骨干网络在意大利语上特别弱（见表 1 (https://arxiv.org/html/2607.01960#S6.T1)），我们额外生成了合成意大利语翻译。  

##### LibriSQA  
LibriSQA 基于 LibriSpeech [panayotov2015librispeech] 的 300 小时划分构建。该数据集分为 Part I 和 Part II，两者共享相同的语音内容，但问题和答案的格式不同。Part I 包含需要系统直接回答的问题，而 Part II 提供与 Part I 对应的多项选择题 (MCQ)。我们对该数据集进行了以下修改：  
- • MCQ 答案扩展：对于 Part II，答案以正确选项对应的字母形式提供。这导致用于损失的 token 数量非常有限，我们在过去的实验中发现这并不理想。为了解决这个问题，我们将目标答案扩展为包含完整的选项文本（例如，模型被训练为生成“A ”而非仅预测“A”）。  
- • 多语言 SQA/QA：我们将英语文本翻译成三种目标语言。对于 Part I，我们只保留问题和答案两者翻译均超过质量阈值的问答对。对于 Part II，我们仅翻译问题及其相关的答案选项，因为正确答案由选项隐含定义。然后我们应用解析步骤来丢弃翻译过程中 A–B–C–D 结构被改变或丢失的示例。该解析器还通过将翻译后的选项与原始参考对齐来恢复正确答案。  
- • MT 划分：我们利用在创建 SQA 划分时获得的问题与答案之间的对齐，为每种目标语言创建一个 MT 划分。我们不创建相应的 ST 划分，因为我们认为该数据集在声学条件方面明显超出挑战的领域，过多包含它可能在训练中产生不利影响。  
- • 基于相似度的无效划分：LibriSQA 中的一些问题相对宽泛（例如，“文本中的人如何行动？”），使其难以可靠地与无关音频片段不匹配。为了解决这个问题，我们通过选择语义相似度低的问句-转录组合来构建不匹配对。我们首先打乱并随机配对转录和问题，然后使用 Sentence Transformer²²sentence-transformers/multi-qa-MiniLM-L6-cos-v1 计算它们之间的余弦相似度。我们只保留相似度得分低的配对。³³基于人工评估，我们将其设为 ≤0.1。该过程分别为 Part I 和 Part II 生成 48,346 和 58,682 个不匹配对。  
- • 基于 Qwen 的无效划分：为了解决我们基于相似度的无效划分可能引入的噪声，我们通过提示 Qwen3-4B-Instruct-2507⁴（详见附录 A.1 (https://arxiv.org/html/2607.01960#A1.SS1)）来包含一组更通用的无效问题。后处理后，这产生了 62,040 个英语问题，随后按照上述相同流程进行翻译和质量过滤。最后，这些问题被随机与语音音频片段配对以构建无效划分。  

##### fakACL  
在本届和上一届挑战中，验证数据均来源于 ACL 会议的科学论文演示。受此启发，我们构建了一个针对该领域的合成数据集，以减少训练与测试条件之间的不匹配，并提供更多相关的 QA 数据，因为受限 SQA 数据集与测试设置相差较远。我们首先生成用于 NLP 论文的简短演示文稿脚本，并使用 Qwen3-4B-Instruct-2507。这些脚本被分割成两到三个句子的片段，并使用 SeamlessM4T-v2-large TTS 合成为语音。然后，每个片段转录被反馈给 LLM，以生成两个可从相应内容回答的问题。附录 A.2 (https://arxiv.org/html/2607.01960#A1.SS2) 提供了数据集创建过程的完整细节。  

### 2.2 提示格式  
本次挑战短轨道目标是生成一个能够 1) 转写英语语音；2) 将英语语音翻译成意大利语、德语和中文；3) 使用英语语音输入回答多语言问题的模型。在此设置中，问题的语言必须与答案的语言匹配。去年我们设计了一个统一提示，具有一致的结构：无论任务（ASR、ST 或 SQA）如何，用户轮次首先将语音嵌入封装在文本标签内，随后在新的一行中是目标语言的任务特定指令（表述为一个问题），最后一行包含一个通用后缀。我们去年的结果 [lee-etal-2025-naver] 表明，通过强制指令（即问题）使用目标语言，我们能够减少 ASR/ST 任务之间的混淆，同时帮助系统泛化到原本未训练的语言。⁵⁵例如，在 SpeechMapper 论文 [speechmapper] 中，我们的 IWSLT25 系统通过多语言提示泛化到西班牙语和法语 ST，尽管其 LoRA 权重从未在这些语言上训练过。因此，今年我们只实验这种设置，即指令以目标语言给出。我们还为多项选择题 (MCQ)、惊喜任务和零样本生成（LLM 骨干网络和仅投影器模式下的 SpeechMapper）包含模板。使用的更新模板列表见附录表 7 (https://arxiv.org/html/2607.01960#A1.T7)。  

## 3 语音投影器：SpeechMapper  
在本工作中，我们使用原始 SpeechMapper 投影器 [speechmapper] 的改进版本。SpeechMapper 是一个用于语义信息的语音到 LLM 嵌入投影器，其训练仅需 LLM 的分词器及其嵌入层。优点有两方面：(1) LLM 的大小不会增加训练所需的 GPU 内存；⁶⁶计算成本的唯一增加来自嵌入维度，这通常不与 LLM 大小成比例，从而保持方法计算高效。(2) 它缓解了提示过拟合。更多细节请参考原始论文。  

我们将去年简单的基于 Transformer 的投影器替换为参数更重的 SpeechMapper 的决定主要是出于实际考虑。在初步实验中，我们尝试复现 lee-etal-2025-naver 的流程，但观察到仅投影器模型的性能非常差（超过 200% 的 WER）。我们将这种与去年相比的低性能归因于今年 LLM 嵌入空间维度的降低。我们假设向更小的嵌入空间投影需要更高的精度，因此需要更大的模型容量，而 SpeechMapper 能更好地提供这一点。  

下面，我们描述相对于 speechmapper 对 SpeechMapper 的主要修改：训练目标。  

### 3.1 新的 SpeechMapper 训练目标  
我们的更新版 SpeechMapper 使用四个损失函数进行训练，旨在将语音对齐到 LLM 输入嵌入。语音通过冻结的 SFM 编码为嵌入序列 Zs ∈ ℝ^(T×d) 并输入 SpeechMapper。相应的目标句子通过冻结的 LLM 嵌入层处理为 LLM token 嵌入序列 Zt ∈ ℝ^(T'×d)。生成的语音序列长度 T 显著大于文本序列长度 T'。为了缓解这种长度不匹配，我们用 LLM 的 [PAD] token 嵌入填充目标嵌入序列以匹配语音序列长度（式 1 (https://arxiv.org/html/2607.01960#S3.E1)）。  
Zt = [zt^(1), ..., zt^(T'), zpad, ..., zpad] ∈ ℝ^(T×d)  
(1)  
因此，SpeechMapper 的输出是语义嵌入后接填充嵌入，隐式捕获序列长度。我们优化以下目标。  

##### L1 对齐损失  
语音和文本嵌入之间的逐元素 L1 距离显式强制两个模态之间的特征级对齐（式 2 (https://arxiv.org/html/2607.01960#S3.E2)）。该损失替代了 speechmapper 中的 MSE 损失。  
L_L1 = (1/(Td)) ∑_(t=1)^T ||zs^(t) - zt^(t)||  
(2)  

##### 余弦相似度损失  
为了鼓励嵌入空间中的角度对齐，我们保留了原始论文中的余弦相似度损失，并最小化对应语音和文本表示之间的余弦距离（式 3 (https://arxiv.org/html/2607.01960#S3.E3)）。  
L_cos = (1/T) ∑_(t=1)^T (1 - (zs^(t)·zt^(t))/(||zs^(t)||_2 ||zt^(t)||_2))