重新思考语音-LLM集成用于ASR：通过交错实现有效的联合语音-文本训练

# 重新思考语音-LLM集成在ASR中的应用：通过交错实现有效的语音-文本联合训练
来源: https://arxiv.org/html/2607.01733
Ruchao Fan, Yiming Wang, Rui Zhao, Liliang Ren, Keqi Deng, Xiaoyang Chen Ali Zare, Bo Ren, Yuxuan Hu, Junkun Chen, Yan Huang, Yelong Shen, Jinyu Li

###### 摘要

语音-LLM集成通过利用大规模文本预训练展示了有希望的结果，但其对自动语音识别(ASR)的具体益处仍不明确。我们观察到，随着监督式ASR训练数据的增加，LLM先验的贡献变得不那么明显，而简单的语音-文本联合训练未能充分利用文本知识。因此，我们提出联合语音-文本交错预训练(JSTIP)，这是一种面向ASR的预训练策略，针对接受连续输入的语音-LLM架构，在已对齐的语音-文本对内部构建词级和段级交错序列。在38k小时ASR数据上的实验表明，与仅ASR训练和联合语音-文本训练基线相比，实体准确率持续提升。JSTIP在使用领域转录文本时取得了与合成语音-文本对相当的实体识别性能，从而简化了领域适配。得益于文本预训练和领域文本数据，JSTIP在医学实体识别方面与开源ASR和语音-LLM系统具有竞争力。零样本语音问答行为进一步表明，交错减少了语音-文本模态差距并保留了LLM的生成先验，这很可能是ASR任务上实体改进的原因。

## I. 引言

参见图1: 传统语音-LLM集成框架(左)和联合语音-文本交错预训练框架(右)。

在大量文本语料上预训练的大语言模型(LLMs)展现出强大的语言建模能力和广泛的世界知识[2 (https://arxiv.org/html/2607.01733#bib.bib1),35 (https://arxiv.org/html/2607.01733#bib.bib2),18 (https://arxiv.org/html/2607.01733#bib.bib3),33 (https://arxiv.org/html/2607.01733#bib.bib4),43 (https://arxiv.org/html/2607.01733#bib.bib5)]。受这些优势的启发，最近的研究在仅解码器架构下将LLM集成到语音系统中[38 (https://arxiv.org/html/2607.01733#bib.bib38),10 (https://arxiv.org/html/2607.01733#bib.bib6),32 (https://arxiv.org/html/2607.01733#bib.bib7),1 (https://arxiv.org/html/2607.01733#bib.bib8),14 (https://arxiv.org/html/2607.01733#bib.bib9),37 (https://arxiv.org/html/2607.01733#bib.bib10),41 (https://arxiv.org/html/2607.01733#bib.bib11),17 (https://arxiv.org/html/2607.01733#bib.bib22),34 (https://arxiv.org/html/2607.01733#bib.bib20)]。常见的方法是通过一个适配器将预训练的语音编码器连接到LLM，并进行多阶段训练，其中使用自动语音识别(ASR)数据来对齐语音和文本表示。对ASR的期望体现在两个方面。首先，假设LLM预训练通过补偿监督式ASR数据的有限规模和覆盖范围(特别是对于罕见词、领域特定术语和长尾实体)来提高ASR性能。确实，基于LLM的ASR系统已显示出有希望的结果[42 (https://arxiv.org/html/2607.01733#bib.bib14),6 (https://arxiv.org/html/2607.01733#bib.bib15),3 (https://arxiv.org/html/2607.01733#bib.bib16),31 (https://arxiv.org/html/2607.01733#bib.bib17),20 (https://arxiv.org/html/2607.01733#bib.bib18),21 (https://arxiv.org/html/2607.01733#bib.bib23),30 (https://arxiv.org/html/2607.01733#bib.bib24),11 (https://arxiv.org/html/2607.01733#bib.bib25),27 (https://arxiv.org/html/2607.01733#bib.bib26),28 (https://arxiv.org/html/2607.01733#bib.bib63),24 (https://arxiv.org/html/2607.01733#bib.bib62)]。其次，适当对齐的语音-LLM模型与ASR被期望继承主干LLM的零样本指令跟随能力[12 (https://arxiv.org/html/2607.01733#bib.bib12),15 (https://arxiv.org/html/2607.01733#bib.bib13)]。然而，在传统训练范式下，ASR性能并不总是能持续受益于预训练的文本知识。随着ASR训练数据的增加，准确率主要由语音-文本监督决定，实体改进往往与ASR数据覆盖范围相关，而不是LLM先验。即使包含额外的文本数据，ASR也常常难以有效利用LLM主干或文本数据。

在这项工作中，我们从预训练的角度重新审视语音-LLM集成。当ASR监督占主导地位时，解码器专注于语音建模，并削弱了在文本预训练期间学到的生成先验。我们表明，如果文本建模行为没有被明确保留，即使在标准的语音-文本联合训练中，这个问题仍然存在。因此，我们提出了面向仅解码器架构的联合语音-文本交错预训练(JSTIP)，它强调在已对齐的语音-文本对内部构建交错序列。首先获取词级和段级的对齐，然后交替排列语音和文本段，形成在模态之间交替的训练序列。这种设计在语音-文本和纯文本序列上保持一致的建模行为，从而减少模态差距并保留LLM的生成先验。

在38k小时内部ASR数据上的实验表明，与仅ASR训练相比，JSTIP实现了高达17.2%的相对实体改进。这些改进与LLM知识和领域文本数据更有效地迁移到ASR中相一致。在特定领域设置中，与使用合成领域ASR数据相比，JSTIP仅使用转录领域的文本就能获得类似的实体性能。最好的JSTIP系统在医学实体性能方面与开源ASR和语音-LLM系统具有竞争力。此外，JSTIP无需引入额外的任务特定监督即可实现零样本语音问答(SQA)能力。我们使用SQA作为模型保留文本端生成行为的证据，而不是作为一个单独的任务重点。

---

## II. 相关工作

### II-A 语音-LLM集成

语音-LLM集成近年来得到了广泛探索。代表性系统包括Qwen-audio系列[40 (https://arxiv.org/html/2607.01733#bib.bib46),41 (https://arxiv.org/html/2607.01733#bib.bib11)]、Phi-4-Multimodal[1 (https://arxiv.org/html/2607.01733#bib.bib8)]、Moshi[10 (https://arxiv.org/html/2607.01733#bib.bib6)]、Step-Audio[37 (https://arxiv.org/html/2607.01733#bib.bib10)]、Kimi-Audio[14 (https://arxiv.org/html/2607.01733#bib.bib9)]和Voxtral[19 (https://arxiv.org/html/2607.01733#bib.bib47)]。这些系统通常将语音编码器连接到仅解码器的LLM，并在语音和文本数据上进行训练。一些技术报告表明，混合或交错的语音-文本预训练对于一般多模态能力是有用的，但精确的数据构建及其对ASR的特有效应通常没有被单独隔离。因此，一旦大量监督式ASR数据已经可用，LLM文本预训练何时能改善ASR仍不清楚。

语音-文本交错在其他的语音-LLM设置中也得到了研究。Spirit-LM[22 (https://arxiv.org/html/2607.01733#bib.bib48)]将口语和书面语言与离散语音令牌交错，其中语音和文本在共享的解码器风格公式中被表示为令牌序列。Xie等人[39 (https://arxiv.org/html/2607.01733#bib.bib49)]使用段级语音-文本交错进行多任务行为模仿。相比之下，我们的研究侧重于使用连续语音表示的仅解码器ASR，并直接比较词级、段级和混合交错策略。这种区别很重要，因为词级交错需要高效处理对齐的连续语音片段并将其重新插入LLM输入流，并且因为我们的分析针对实体识别和语音-文本模态差距，而不仅仅是通用指令跟随。

因此，我们的工作与现有的语音-LLM集成研究在三个核心方面不同。首先，我们将交错作为一种保存和转移预训练LLM先验到ASR的机制，而不是作为一种通用的多模态数据处理方法。其次，我们关注大监督数据 regime，其中传统的ASR适配已经学会了很强的语音-文本映射，而LLM预训练的附加价值最难体现。第三，我们隔离了构建粒度如何影响模态差距和实体识别，包括一种针对连续语音表示的可扩展词级交错实现，这在先前的段级或离散令牌公式中未被涵盖。

### II-B 联合语音和文本训练

先前的研究将纯文本数据注入语音训练，以利用语言规律和配对数据中缺失的长尾知识。早期的努力将文本整合到自监督预训练中，要么通过从文本合成语音[9 (https://arxiv.org/html/2607.01733#bib.bib51)]，要么学习共享的语音-文本表示[44 (https://arxiv.org/html/2607.01733#bib.bib52),4 (https://arxiv.org/html/2607.01733#bib.bib53),7 (https://arxiv.org/html/2607.01733#bib.bib54)]。然而，多阶段训练常常导致在下游ASR微调过程中遗忘[26 (https://arxiv.org/html/2607.01733#bib.bib55),5 (https://arxiv.org/html/2607.01733#bib.bib57),13 (https://arxiv.org/html/2607.01733#bib.bib56)]。后来在AED和transducer框架中探索了更直接的文本注入[26 (https://arxiv.org/html/2607.01733#bib.bib55),36 (https://arxiv.org/html/2607.01733#bib.bib58),25 (https://arxiv.org/html/2607.01733#bib.bib59),8 (https://arxiv.org/html/2607.01733#bib.bib60),23 (https://arxiv.org/html/2607.01733#bib.bib61)]，其中在监督式ASR优化过程中包含了纯文本输入。因为这些模型基于文本历史进行解码，所以需要各种对齐策略，例如基于时长的上采样[8 (https://arxiv.org/html/2607.01733#bib.bib60)]或重复启发式[26 (https://arxiv.org/html/2607.01733#bib.bib55)]，以减轻文本和语音输入之间的模态不匹配。

尽管这些方法有效，但它们主要是在前LLM时代开发的，旨在增强领域内识别能力。在当今的语音-LLM系统中，挑战不再仅仅是增强解码器语言模型，而是在多模态适配过程中保留和转移已经编码在预训练LLM中的广泛文本先验。正如我们在本工作中所示，语音和文本目标的简单组合改善了文本侧预测，但对语音条件下的ASR转移效果很弱。JSTIP在仅解码器LLM范式下重新审视文本注入，特别强调在语音-文本和纯文本序列上保持一致的建模行为。这一定位使JSTIP区别于先前的联合语音-文本训练。JSTIP不是将文本作为单独训练的ASR解码器的辅助数据源，而是改变已对齐的语音-文本对内部的序列构建，使得同一个解码器在语音上下文和文本上下文之后反复预测文本。这种设计直接解决了语音-LLM适配过程中引入的模态差距，并提供了一条途径，使领域转录文本能够改善语音条件下的实体识别，而无需为每个文本示例合成语音。

---

## III. 方法

### III-A 传统语音-LLM集成

仅解码器的LLM在下一个令牌预测(NTP)范式下统一语言任务。对于语音理解，典型的集成流程由三个组件组成：预训练的语音编码器、模态适配器和预训练的仅解码器LLM，如图1左侧所示。

给定输入音频序列 \(A\)，语音编码器产生一系列声学表示，适配器将编码器输出投影到LLM嵌入空间。投影后的声学表示与特殊令牌(例如，<|asr|>)拼接在一起，并馈入仅解码器LLM以生成目标转录序列 \(T = (t_1, \dots, t_N)\)。

**ASR-only训练**：在传统的ASR训练下，模型使用转录上的交叉熵损失进行优化：

\[
\mathcal{L}_{\text{ASR}} = -\sum_{i=1}^{N} \log P(t_i \mid A, t_{<i}), \tag{1}
\]

其中 \(t_{<i}\) 表示之前生成的令牌。这个公式将ASR视为一个语音条件下的NTP问题。随着监督式ASR数据量的增加，优化由语音-文本监督主导，这可能会降低对LLM预训练期间学到的文本先验的依赖。

**Speech-Text Joint Training**：在仅解码器架构下，可以通过在文本批次到来时为语音编码器创建零语音输入，轻松地将纯文本数据包含在训练中。因此，文本数据可以为LLM的梯度更新做出贡献，使模型偏向目标ASR领域。然而，我们发现简单的数据类型混合并不能将文本知识迁移到ASR性能中。

### III-B 联合语音-文本交错预训练

为了减轻对语音条件解码的过度专业化，我们研究了联合语音-文本交错预训练(JSTIP)。与数据集级别的ASR和纯文本数据调度不同，JSTIP*在每个已对齐的语音-文本对内部*构建交错序列。给定一个语音-文本对 \((A, T)\)，我们首先获取对齐信息 \((A, T) = \{(A_1, T_1), (A_2, T_2), \dots, (A_n, T_n)\}\)，其中每个 \(A_i\) 对应于与文本段 \(T_i\) 对齐的声学段。有了对齐后，我们通过交替选择语音和文本段来构建交错的语音-文本序列。使用两种互补的变体：\((A_1, T_2, A_3, T_4, \dots, T_n)\) 和 \((T_1, A_2, T_3, A_4, \dots, T_n)\)。在两种变体中，序列的最后一个段都是文本，并且文本段作为训练目标。我们使用确定的交替来隔离交错粒度和边界构建的影响；自适应选择(例如随机或基于词类型的模态选择)留作未来工作。基于对齐的粒度，本工作研究了词级和段级的交错序列。

**损失掩码**：对于所有训练格式，交叉熵损失仅应用于文本令牌。在仅ASR训练中，损失在转录令牌上计算；在纯文本训练中，在文本令牌上计算；在交错训练中，在构建的交错序列中出现的所有文本令牌上计算。语音位置始终被损失掩码忽略。特殊令牌仅用作任务或模态指示符，不包含在损失中。当多个示例打包到同一个8k上下文中时，我们在FlashAttention中使用带有累积序列长度(cu_seqlens)的打包SFT，以便在示例边界处重置注意力，并且不发生跨示例泄漏。

最后，仅ASR、段交错、词交错和纯文本数据在统一的下一令牌预测目标下训练。与公式(1)中传统的ASR训练不同，JSTIP使模型暴露于如下形式的分布：

\[
P(T_j \mid A_i, T_{i+1}, \dots), \tag{2}
\]

从而保留了文本建模行为，