NAVER LABS 系统在 IWSLT 2026 指令跟随任务中的复现

# NAVER LABS 系统复现：面向 IWSLT 2026 指令跟随任务
来源: https://arxiv.org/html/2607.05623
Aniket Tathe 伊利诺伊大学厄巴纳-香槟分校 [email protected]

###### 摘要

我们复现了 NAVER LABS 的 IWSLT 2025 指令跟随流水线（Lee 等人，2025 (https://arxiv.org/html/2607.05623#bib.bib15)），用于 IWSLT 2026 共享任务（受约束条件，短音频轨道），并适配了强制使用的组件：SeamlessM4T-v2-large（Barrault 等人，2023 (https://arxiv.org/html/2607.05623#bib.bib16)）作为语音编码器，以及 Qwen3-4B-Instruct（Team，2025 (https://arxiv.org/html/2607.05623#bib.bib17)）作为 LLM 主干。三阶段方法——投影器对齐、纯文本 LoRA 预训练和多模态融合——沿用了原始设计。此外，我们从提供的语料库中构建了 10 万条涵盖 10 种语音中心任务类型的合成指令跟随示例（每类任务 1 万条），适用于进一步的第三阶段微调。我们的主要模型在 MCIF 基准上，英-中语音翻译的 COMET 得分为 0.781，英语 SQA 的 BERTScore-F1 得分为 0.346。代码、训练脚本和生成的数据均已公开。111https://github.com/anand-kamble/iwslt2026-instruction-following

NAVER LABS 系统复现：面向 IWSLT 2026 指令跟随任务

Anand Kamble 佛罗里达州立大学 [email protected]
Aniket Tathe 伊利诺伊大学厄巴纳-香槟分校 [email protected]

## 1 引言

多模态语音 LLM，如 SALMONN（Tang 等人，2024 (https://arxiv.org/html/2607.05623#bib.bib10)）、Qwen-Audio（Chu 等人，2023 (https://arxiv.org/html/2607.05623#bib.bib12)）、SpeechGPT（Zhang 等人，2023 (https://arxiv.org/html/2607.05623#bib.bib11)）和 WavLLM（Hu 等人，2024 (https://arxiv.org/html/2607.05623#bib.bib26)），通过轻量级连接器将冻结的语音编码器与指令微调的 LLM（Ouyang 等人，2022 (https://arxiv.org/html/2607.05623#bib.bib13)）耦合，从而通过自然语言提示实现灵活的多任务推理。IWSLT 2026 指令跟随共享任务（Organizers，2026 (https://arxiv.org/html/2607.05623#bib.bib14)）通过 MCIF 基准将该范式形式化，对统一模型在 ASR、多语言 ST（EN → {DE, IT, ZH}）和 SQA 上进行评估。NAVER LABS 2025 系统（Lee 等人，2025 (https://arxiv.org/html/2607.05623#bib.bib15)）在 IWSLT 2025 受约束设置（Abdulmumin 等人，2025 (https://arxiv.org/html/2607.05623#bib.bib28)）中展示了一条有竞争力的三阶段流水线，但未公开发布。

我们提供了首个开源复现版本，适配了 IWSLT 2026 的约束（SeamlessM4T-v2-large 编码器、Qwen3-4B-Instruct LLM——替换了 2025 年使用的 LLaMA-3.1-8B（Dubey 等人，2024 (https://arxiv.org/html/2607.05623#bib.bib5)）主干）。我们还构建了 10 万条涵盖 10 种语音中心任务类型的合成指令跟随示例（第 2.1 节 (https://arxiv.org/html/2607.05623#S2.SS1)），并对第二阶段文本预训练的 LoRA 秩和学习率配置进行了消融研究。

## 2 任务与数据

#### 共享任务。

我们参与的是“受约束条件，短音频轨道”（Organizers，2026 (https://arxiv.org/html/2607.05623#bib.bib14)）。MCIF 评估使用 WER（↓）用于 ASR，COMET（Rei 等人，2020 (https://arxiv.org/html/2607.05623#bib.bib25)）（↑）用于 ST，BERTScore-F1（Zhang 等人，2020 (https://arxiv.org/html/2607.05623#bib.bib3)）（↑）用于 SQA。任务指令遵循 Lee 等人（2025 (https://arxiv.org/html/2607.05623#bib.bib15)）的自然语言提示格式。

#### 训练语料库。

核心语音数据来自 CoVoST 2（Wang 等人，2021 (https://arxiv.org/html/2607.05623#bib.bib19)）和 EuroParlST（Iranzo-Sánchez 等人，2020 (https://arxiv.org/html/2607.05623#bib.bib20)）（ASR/ST）以及 LibriSQA（Huang 等人，2024 (https://arxiv.org/html/2607.05623#bib.bib18)）（SQA）；德、意、中多语言 SQA 对通过 SeamlessM4T-v2 机器翻译 LibriSQA 获得。第三阶段还使用了 NUTSHELL（Maikezu 等人，2024 (https://arxiv.org/html/2607.05623#bib.bib23)）用于语音摘要和 YTSeg（Retkowski 等人，2024 (https://arxiv.org/html/2607.05623#bib.bib24)）用于音频章节检测。表 1 (https://arxiv.org/html/2607.05623#S2.T1) 总结了每个阶段的语料库。

表 1：每个阶段的训练语料库。∗ 仅文本。† 仅 A.2 变体。‡ 机器翻译。
参照图标题
图 1：三阶段训练流水线。冻结模块：虚线边框。可训练：实线。第三阶段联合微调投影器和 LoRA 适配器。

### 2.1 合成指令跟随数据

我们使用开放权重的 Gemma 模型（Gemma Team，2025 (https://arxiv.org/html/2607.05623#bib.bib6)），从提供的语料库构建了 10 万条合成示例（每类任务 1 万条）。七个基于文本的任务由 Gemma-4-31B 根据参考转录生成：关键词抽取（T1）、命名实体识别（T2）、要点摘要（T3）、主题标注（T4）、数值问答（T5）、以及德文和中文的要点摘要（T6–T7）。三个基于音频的任务（T8–T10）由 Gemma-4-E4B-it 直接从音频生成：英语、德语和中文的语音风格描述。

例如，转录文本“The Luks family eventually moved to Pottsville, in southern Pennsylvania”的 NER 目标（T2）会输出 PER=[Luks], LOC=[Pottsville, S. Pennsylvania]。语音风格目标（T8）会输出“The speaker has a measured, confident tone, speaking at a moderate pace with a clear articulation.”这些数据随我们的代码一起发布。

## 3 系统

#### 架构。

我们的模型遵循 Lee 等人（2025 (https://arxiv.org/html/2607.05623#bib.bib15)），如图 1 (https://arxiv.org/html/2607.05623#S2.F1) 所示。冻结的 SeamlessM4T-v2-large 编码器（Barrault 等人，2023 (https://arxiv.org/html/2607.05623#bib.bib16)）产生 1024 维帧表示。可训练的投影器通过帧平均进行 3 倍下采样，经过一个 4 层 Transformer 编码器（Vaswani 等人，2017 (https://arxiv.org/html/2607.05623#bib.bib2)），并投影到 LLM 的隐藏层大小。LoRA 适配（Hu 等人，2022 (https://arxiv.org/html/2607.05623#bib.bib1)）的 Qwen3-4B-Instruct（Team，2025 (https://arxiv.org/html/2607.05623#bib.bib17)）生成响应，语音嵌入在 <|speech|> 占位符处前置。

#### 第一阶段——投影器对齐。

编码器和 LLM 冻结；仅训练投影器（4 个 epoch，lr 1×10^−4，常数，AdamW（Loshchilov 和 Hutter，2019 (https://arxiv.org/html/2607.05623#bib.bib8)））。A.1（ASR/ST）：采样 40% ASR、18% ST-DE、24% ST-ZH、18% ST-IT（CoVoST 2 + EuroParlST）。A.2（ASR/ST/SQA）：采样 40% ASR、10.5% ST-DE、14% ST-ZH、10.5% ST-IT、25% SQA-EN（添加 LibriSQA）。

#### 第二阶段——纯文本 LoRA。

无音频；投影器冻结；LLM 通过 LoRA 适配 1 个 epoch。采样：MT 60%（各 20% DE/IT/ZH，来自 CoVoST 2 和 EuroParlST 转录）和 QA 40%（各 10% EN/DE/IT/ZH，LibriSQA + 机器翻译）。三种配置：

- • V1：秩 8，α=16，lr 3×10^−4，attn+FF 层
- • V2：秩 16，α=32，lr 1×10^−5，余弦，全线性
- • V3：秩 32，α=64，lr 2×10^−4，余弦，全线性

#### 第三阶段——多模态融合。

联合微调 A.1 投影器和 V1 LoRA 适配器；语音编码器保持冻结。采样：20% ASR、各 10% ST-{DE,IT,ZH}、10% SQA-EN、各 5% SQA-{DE,IT,ZH}、10% S2TSum、15% AChap。每个语音批次（ST, SQA）之后立即跟着一个配对的纯文本批次（MT, QA），以防止灾难性遗忘。投影器 lr：1×10^−5（常数）；LoRA lr：3×10^−4（余弦）；在 4×H100 上训练 2 个 epoch。

## 4 实验

(a) MCIF 基准结果（受约束，短音频）
(b) 第二阶段文本评估（1k CoVoST-2，不可与 MCIF 比较）
(c) 第二阶段 LoRA 秩消融

表 2：实验结果。(a) MCIF 基准；第三阶段是我们的主要系统。(b) 第二阶段文本评估在 1k CoVoST 2 上进行，不可与 MCIF 比较。(c) LoRA 秩消融（lr：V1=3e-4，V2=1e-5，V3=2e-4）；V1 用于第三阶段。

#### 设置。

第一阶段和第二阶段在单块 H200 GPU 上训练；第三阶段在 4×H100 80GB（DDP）上训练。由于内存限制，排除长度超过 15 秒的音频。主要评估使用官方 mcif_eval 工具；第二阶段单独在 1k CoVoST 2 文本子集上评估（不可与 MCIF 比较）。

#### 第一阶段和第三阶段结果（MCIF）。

表 2 (https://arxiv.org/html/2607.05623#S4.T2) (a) 显示了 MCIF 结果。与 SeamlessM4T-v2-large 基线相比，第一阶段提升了 ST 和 SQA，但以更高的 WER 为代价——这与 Lee 等人（2025 (https://arxiv.org/html/2607.05623#bib.bib15)）一致。A.2 提升了英语 SQA（0.267 对比 0.186），但进一步降低了 ASR。第三阶段恢复了 ASR（23.49 WER），在所有语言对上取得了最佳的 ST COMET（英中：0.781），并大幅提升了英语 SQA（0.346）。由于多语言监督稀疏，跨语言 SQA 仍然较低。

#### 第二阶段：文本评估与 LoRA 消融。

由于第二阶段是纯文本（无音频），其结果在 1k CoVoST 2 文本子集上评估，不可与 MCIF 比较。表 2 (https://arxiv.org/html/2607.05623#S4.T2) (b) 显示了 LoRA（V1）相对于基础 Qwen3-4B（Papineni 等人，2002 (https://arxiv.org/html/2607.05623#bib.bib4)；Post，2018 (https://arxiv.org/html/2607.05623#bib.bib27)）的增益；表 2 (https://arxiv.org/html/2607.05623#S4.T2) (c) 消融了 LoRA 秩。V3（秩 32）取得了最高的 MT 分数；V1（秩 8）产生了最佳的 SQA F1，并被选用于第三阶段。

## 5 结论

我们为 IWSLT 2026 受约束设置复现了 NAVER LABS 的三阶段指令跟随流水线（Lee 等人，2025 (https://arxiv.org/html/2607.05623#bib.bib15)），并适配了 SeamlessM4T-v2-large 和 Qwen3-4B-Instruct。我们的第三阶段模型在 MCIF 上实现了英中 ST 的 COMET 0.781 和英语 SQA 的 BERTScore-F1 0.346，相对于仅投影器基线有持续改进。随代码一同发布的 10 万条合成数据集为更丰富的第三阶段微调或未来使用任务特定奖励和 LLM-as-judge 标准（Kim 等人，2024 (https://arxiv.org/html/2607.05623#bib.bib22)）的强化学习（Shao 等人，2024 (https://arxiv.org/html/2607.05623#bib.bib7)）提供了自然的扩展点。

## 局限性

由于 GPU 内存限制，排除了长度超过 15 秒的音频，可能影响较长话语的性能。跨语言 SQA 依赖于机器翻译的 QA 对，可能引入噪声。第二阶段的消融数值得分在纯文本子集上评估，不能直接与 MCIF 结果比较。

## 参考文献

- I. Abdulmumin 等人 (2025) Findings of the IWSLT 2025 evaluation campaign. In Proceedings of the 22nd International Conference on Spoken Language Translation (IWSLT 2025), 引用自: §1 (https://arxiv.org/html/2607.05623#S1.p1.1).
- L. Barrault 等人 (2023) SeamlessM4T: massively multilingual & multimodal machine translation. arXiv preprint arXiv:2308.11596. 外部链接: Link (https://arxiv.org/abs/2308.11596) 引用自: §3 (https://arxiv.org/html/2607.05623#S3.SS0.SSS0.Px1.p1.1).
- Y. Chu 等人 (2023) Qwen-Audio: advancing universal audio understanding via unified large-scale audio-language models. arXiv preprint arXiv:2311.07919. 外部链接: Link (https://arxiv.org/abs/2311.07919) 引用自: §1 (https://arxiv.org/html/2607.05623#S1.p1.1).
- A. Dubey 等人 (2024) The Llama 3 herd of models. arXiv preprint arXiv:2407.21783. 外部链接: Link (https://arxiv.org/abs/2407.21783) 引用自: §1 (https://arxiv.org/html/2607.05623#S1.p2.1).
- Gemma Team (2025) Gemma 3 technical report. arXiv preprint arXiv:2503.19786. 外部链接: Link (https://arxiv.org/abs/2503.19786) 引用自: §2.1 (https://arxiv.org/html/2607.05623#S2.SS1.p1.1).
- E. J. Hu 等人 (2022) LoRA: low-rank adaptation of large language models. In Proceedings of the Tenth International Conference on Learning Representations, 外部链接: Link (https://arxiv.org/abs/2106.09685) 引用自: §3 (https://arxiv.org/html/2607.05623#S3.SS0.SSS0.Px1.p1.1).
- S. Hu 等人 (2024) WavLLM: towards robust and adaptive speech large language model. arXiv preprint arXiv:2404.00656. 外部链接: Link (https://arxiv.org/abs/2404.00656) 引用自: §1 (https://arxiv.org/html/2607.05623#S1.p1.1).
- Z. Huang 等人 (2024) LibriSQA: advancing free-form and open-ended spoken question answering with a novel dataset and framework. In Proceedings of the 2024 Annual Conference of the North American Chapter of the Association for Computational Linguistics, 外部链接: Link (https://arxiv.org/abs/2308.10390) 引用自: §2 (https://arxiv.org/html/2607.05623#S2.SS0.SSS0.Px2.p1.1).
- J. Iranzo-Sánchez 等人 (2020) EuroParlST: a multilingual corpus for speech translation of European parliament debates. In Proceedings of the Language Resources and Evaluation Conference, 外部链接: Link (https://arxiv.org/abs/2005.01215) 引用自: §2 (https://arxiv.org/html/2607.05623#S2.SS0.SSS0.Px2.p1.1).
- S. Kim 等人 (2024) Prometheus: inducing fine-grained evaluation capability in language models. In Proceedings of the Twelfth International Conference on Learning Representations, 外部链接: Link (https://arxiv.org/abs/2310.08491) 引用自: §5 (https://arxiv.org/html/2607.05623#S5.p1.1).
- B. Lee, M. Zanon Boito, L. Besacier, and I. Calapodescu (2025) NAVER LABS europe submission to the instruction-following track. In Proceedings of the 22nd International Conference on Spoken Language Translation (IWSLT 2025), 外部链接: Link (https://arxiv.org/abs/2506.01808) 引用自: §1 (https://arxiv.org/html/2607.05623#S1.p1.1), §2 (https://arxiv.org/html/2607.05623#S2.SS0.SSS0.Px1.p1.3), §3 (https://arxiv.org/html/2607.05623#S3.SS0.SSS0.Px1.p1.1), §4 (https://arxiv.org/html/2607.05623#S4.SS0.SSS0.Px2.p1.1), §5 (https://arxiv.org/html/2607.05623#S5.p1.1).
- I. Loshchilov and F. Hutter (2019) Decoupled weight decay regularization. In Proceedings of the Seventh International Conference on Learning Representations, 外部链接: Link (https://arxiv.org/abs/1711.05101) 引用自: §3 (https://arxiv.org/html/2607.05623#S3.SS0.SSS0.Px2.p1.1).
- Maikezu 等人 (2024) NUTSHELL: a dataset for speech summarization. In Proceedings of Interspeech, 注: https://huggingface.co/datasets/maikezu/nutshell 引用自: §2 (https://arxiv.org/html/2607.05623#S2.SS0.SSS0.Px2.p1.1).
- I. 2. Organizers (2026) IWSLT 2026 shared task: instruction-following speech processing. In Proceedings of the 23rd International Conference on Spoken Language Translation (IWSLT 2026), 外部链接: Link (https://iwslt.org/2026/instruction-following) 引用自: §1 (https://arxiv.org/html/2607.05623#S1.p1.1), §2 (https://arxiv.org/html/2607.05623#S2.SS0.SSS0.Px1.p1.3).
- L. Ouyang 等人 (2022) Training language models to follow instructions with human feedback. In Advances in Neural Information Processing Systems, Vol. 35. 外部链接: Link (https://arxiv.org/abs/2203.02155) 引用自: §1 (https://arxiv.org/html/2607.05623#S1.p1.1).
- K. Papineni, S. Roukos, T. Ward, and W. Zhu (2002) BLEU: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311–318. 引用自: §4 (https://arxiv.org/html/2607.05623#S4.SS0.SSS0.Px3.p1.1).
- M. Post (2018) A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186–191. 外部链接: Link (https://arxiv.org/abs/1804.08771) 引用自: §4 (https://arxiv.org/html/2607.05623#S4.SS0.SSS0.Px3.p1.1).