用于多语言语音识别的令牌合并：跨模型规模与微调的系统研究

# 多语言语音识别中的Token合并：跨模型规模与微调的系统性研究
来源：https://arxiv.org/html/2609.13151
###### 摘要

领先的多语言语音识别模型（如Whisper）无需针对特定语言的训练即可转录多种低资源语言，但部署时的计算成本高昂。Token合并通过动态合并冗余特征来缓解这种低效性，在推理过程中缩短序列长度而无需重新训练。本文在Whisper模型系列上系统性地评估了Token合并技术，涵盖十六种不同语言和三种不同的模型规模。我们还测试了Token合并如何与低资源语言的微调（DoRA）相互作用。研究结果表明，在大多数低资源语言和模型规模上，合并Token能在几乎不损失转录准确度的情况下提高计算效率，并且即使在模型经过微调后仍然有效。我们的结果证明，Token合并是一种非常实用的方法，能够使多语言语音识别更快、部署成本更低。

多语言语音识别中的Token合并：跨模型规模与微调的系统性研究

Dylan Luke Holyoak Epoch Learn φ0\phi_{0} (https://www.epochlearn.com/) [email protected]

## 1 引言

语音模型传统上是在大量标注训练数据上训练的，而这些数据仅对少数语言可用。近年来，多语言自动语音识别系统表明，单个模型可以被训练来转录多种语言的语音，而不是为每种语言训练一个单独的模型。此类系统对于低资源语言特别有用，因为这些语言可用的音频和文本不足以支持为每种语言建立单独模型。最近的多语言系统包括弱监督模型，如MMS (Pratap et al.,2024 (https://arxiv.org/html/2609.13151#bib.bib14)) 和Whisper (Radford et al.,2023 (https://arxiv.org/html/2609.13151#bib.bib15))，以及自监督模型，如XLS-R (Conneau et al.,2021 (https://arxiv.org/html/2609.13151#bib.bib3))。这些模型表明，通过在单个网络中仅从语音音频学习强大的表征，可以实现多语言训练。这些多语言模型在大约一百种甚至超过一千种语言上展示了具有竞争力的转录性能。

在这些多语言语音识别模型中，Whisper (Radford et al.,2023 (https://arxiv.org/html/2609.13151#bib.bib15)) 是最广泛使用的开源模型，它以语音音频作为输入，在大约一百种语言上产生转录，而无需对每种语言进行微调。尽管Whisper在语音识别方面达到了接近人类的性能，但其音频编码器引入了显著的计算瓶颈。该模型被明确设计为处理固定长度、30秒的音频输入，这些输入被编码为1,500个token并传递给Transformer层。换句话说，无论是处理1秒的语音命令还是完整的30秒独白，音频编码器都会评估这个30秒的填充序列。这种固定成本在短话语的推理中占主导地位，为大规模经济高效的部署造成了重大障碍。这种低效性在多语言环境中尤为明显，因为不同语言的平均话语时长可能差异很大。

Token合并通过自适应地合并具有高度相似表征的编码器token来缓解这种低效性。该操作在保留关键信息的同时减少了模型内的序列长度。由于无需重新训练，压缩后的模型仍然可以转录其最初训练过的所有语言。Token合并技术起源于计算机视觉领域，其中ToMe (Bolya et al.,2023 (https://arxiv.org/html/2609.13151#bib.bib2)) 引入了视觉Transformer中相似token的软合并，同时还有相关方法，如使用学习到的门控网络剪枝token (Rao et al.,2021 (https://arxiv.org/html/2609.13151#bib.bib16))，根据注意力分数重组token (Liang et al.,2022 (https://arxiv.org/html/2609.13151#bib.bib11))，在每一层自适应地停止token (Yin et al.,2022 (https://arxiv.org/html/2609.13151#bib.bib21))，或根据输入改变深度和宽度 (Meng et al.,2022 (https://arxiv.org/html/2609.13151#bib.bib13))。

相比之下，通过Token合并来提高语音识别系统的效率仍然相对缺乏探索。目前的文献主要局限于单语英语RNN-T语音识别模型的相邻token合并 (Li et al.,2023 (https://arxiv.org/html/2609.13151#bib.bib9)) 以及对语音语言模型中相邻token冗余性的分析 (Xiang et al.,2026 (https://arxiv.org/html/2609.13151#bib.bib19))。据我们所知，该技术尚未在多语言语音识别模型上得到系统评估，一些关键问题仍悬而未决。它能否跨越参数数量相差一个数量级的编码器规模进行泛化？它能否跨越类型多样（包括声调和低资源情况，这些情况下模型容量最为关键）的语言进行泛化？并且在基于适配器的微调之后（此时解码器已被调整但编码器未被调整），它是否仍然有效？

本文提供了这样的评估。我们应用相邻token合并，因为语音音频输入与图像不同，编码器序列具有时间顺序，解码器交叉注意力单调地依赖于此。因此，合并必须限制在相邻位置以保持这种对齐。Token合并模块基于相似性的非重叠配对，放置在注意力残差和前馈网络之间的块内。我们使用不同模型规模的Whisper变体检查token合并方法，并在十六种语言上进行评估，涵盖声调和非声调音系、十一个语言（亚）族系以及四个基准资源层级 (Conneau et al.,2023 (https://arxiv.org/html/2609.13151#bib.bib4))。

#### 贡献.

本文做出三项贡献：

1. 1\. 跨语言评估。我们在涵盖声调和非声调音系、十一个语言（亚）族系以及低到高资源层级的十六种语言上进行了评估，证明该技术在很大程度上超越了先前工作以英语为中心的场景。
2. 2\. 跨规模评估。我们表明，规范的相邻token合并导致三个Whisper编码器规模（参数数量相差约一个数量级）的词错误率漂移可忽略不计，表明该技术并非特定于某一模型规模。
3. 3\. 与微调的结合。我们表明，该技术与DoRA (Liu et al.,2024 (https://arxiv.org/html/2609.13151#bib.bib12)) 解码器微调在所有六个低资源目标语言上相结合，并泛化到十个留出语言。

## 2 相关工作

#### Transformer中的token减少。

自注意力相对于序列长度的二次复杂度 (Vaswani et al.,2017 (https://arxiv.org/html/2609.13151#bib.bib18)) 推动了大量压缩Transformer序列的研究。早期方法，如DynamicViT (Rao et al.,2021 (https://arxiv.org/html/2609.13151#bib.bib16))，通过学习到的门控网络剪枝token。或者，Bolya et al. (2023 (https://arxiv.org/html/2609.13151#bib.bib2)) 证明，二分软*合并*——结合表征而不是丢弃它们——可以在几乎不损失精度且无需重新训练的情况下加速视觉Transformer。在语音领域，A-ToMe (Li et al.,2023 (https://arxiv.org/html/2609.13151#bib.bib9)) 将此概念应用于英语RNN-T识别器，使用了一系列均匀间隔的合并层。我们采用他们的合并计划和基于关键的相似性信号，将该技术扩展到多语言编码器-解码器Whisper架构，并探索其与参数高效微调的结合。此外，同期关于英语LLM的研究 (Xiang et al.,2026 (https://arxiv.org/html/2609.13151#bib.bib19)) 识别出深层存在显著的相邻token冗余，独立地证实了我们的结构前提。

#### 高效语音识别。

有几种方法通过改变模型架构或权重来提高语音识别效率。例如，Distil-Whisper (Gandhi et al.,2023 (https://arxiv.org/html/2609.13151#bib.bib5)) 将基础模型蒸馏成快5.8倍的学生模型，LiteASR (Kamahori et al.,2025 (https://arxiv.org/html/2609.13151#bib.bib8)) 采用低秩分解将Whisper-large-v3的大小减半，同时超越Whisper-medium的精度，而BaldWhisper (Sy et al.,2025 (https://arxiv.org/html/2609.13151#bib.bib17)) 结合了嵌入压缩和层合并用于部署。然而，所有这些方法都产生了新的、经过重新训练的模型，当一个模型必须服务于多种语言时，引入了显著的开销。其他策略，如自监督预训练（例如，wav2vec 2.0 (Baevski et al.,2020 (https://arxiv.org/html/2609.13151#bib.bib1)), XLS-R (Conneau et al.,2021 (https://arxiv.org/html/2609.13151#bib.bib3))）或利用参数高效的架构（如Conformer (Gulati et al.,2020 (https://arxiv.org/html/2609.13151#bib.bib6))），提供了更轻量编码器的替代方法，但仍然需要完全重新训练或针对每种语言的微调。相比之下，token合并通过减少输入序列长度而非参数数量，从根本上有所不同。它完全在现有Whisper模型的推理时运行，无需重新训练，也无需针对每种语言进行校准。

#### 多语言语音识别。

现代多语言语音识别系统，如MMS (Pratap et al.,2024 (https://arxiv.org/html/2609.13151#bib.bib14)) 和XLS-R (Conneau et al.,2021 (https://arxiv.org/html/2609.13151#bib.bib3))，已将语音识别扩展到数百种语言；然而，它们通常依赖自监督预训练，并需要针对每种语言的微调才能有效转录。相比之下，Whisper (Radford et al.,2023 (https://arxiv.org/html/2609.13151#bib.bib15)) 无需特定语言的适配即可提供强大的零样本转录能力。我们选择Whisper作为主要测试平台，因其强大的零样本能力以及其模型在多个编码器规模上的公开可用性，这是我们进行跨规模分析的必要条件。为了严格评估跨语言性能，我们使用FLEURS数据集 (Conneau et al.,2023 (https://arxiv.org/html/2609.13151#bib.bib4))，这是一个跨越102种语言的标准化基准。此外，尽管最近的分析研究了Whisper解码器在不同资源层级下细粒度子token级别的行为 (Liang et al.,2025 (https://arxiv.org/html/2609.13151#bib.bib10))，我们的工作通过针对其编码器的计算效率，对这项研究进行了补充。

#### 参数高效微调。

参数高效微调通过仅更新参数的最小子集（同时保持大部分参数冻结）来缓解完全模型重新训练的计算负担。在这一范式内，LoRA (Hu et al.,2022 (https://arxiv.org/html/2609.13151#bib.bib7)) 在原始权重旁引入可训练的低秩更新矩阵，而DoRA (Liu et al.,2024 (https://arxiv.org/html/2609.13151#bib.bib12)) 在此基础上将更新分解为不同的幅度和方向分量，以增强学习稳定性。其他专门设计，如深度感知适配 (Xiao et al.,2026 (https://arxiv.org/html/2609.13151#bib.bib20))，选择性地将适配器分布在编码器层中，以优化低资源语音识别。对于我们研究，我们仅将DoRA应用于Whisper解码器（保持编码器完全冻结），以清晰地隔离和研究基于适配器的解码器微调与推理时编码器token合并之间的相互作用。

## 3 方法

### 3.1 Whisper编码器架构

Whisper通过两层卷积主干（步幅为1然后步幅为2）处理30秒的对数梅尔频谱图，投影到固定长度的T0=1500 token序列。该序列然后通过LL Transformer编码器层，每层应用多头自注意力，后接位置级前馈网络。相关的架构常量对于Whisper-small为(L,d,dff,H,nmels)=(12,768,3072,12,80)，对于Whisper-medium为(24,1024,4096,16,80)，对于Whisper-large-v3为(32,1280,5120,20,128)，其中LL是模型层数，dd是模型维度，dffd_{ff}是前馈维度，HH是注意力头数，n_{\text{mels}}是梅尔滤波器组数量。编码器输出通过交叉注意力供自回归解码器使用。

### 3.2 Token合并过程

我们应用Bolya et al. (2023 (https://arxiv.org/html/2609.13151#bib.bib2)) 提出并由Li et al. (2023 (https://arxiv.org/html/2609.13151#bib.bib9)) 针对语音识别改编的相邻对token合并过程，并针对编码器-解码器Whisper设置进行了四个细节的专门化。

#### 相似性信号。

对于合并层上的每个候选相邻对(t,t+1)，我们计算逐头平均的键向量的余弦相似度：

k ̄t=1H∑h=1Hkt(h),kt(h)∈Rd/H,\\bar{k}_{t}=\\frac{1}{H}\\sum_{h=1}^{H}k_{t}^{(h)},\\quad k_{t}^{(h)}\\in\\mathbb{R}^{d/H},(1)
其中kt(h)是第h头的层键投影。我们使用键而非隐藏状态，因为它们是注意力实际查询的表征；逐头平均将每对相似度缩减为一个标量[-1,1]，同时保持与注意力所见的相似结构一致。

#### 放置。

合并应用于块内，在多头注意力残差更新和馈前网络前的层归一化之间。这是Bolya et al. (2023 (https://arxiv.org/html/2609.13151#bib.bib2)) 的规范位置，并且在未合并任何对时与未合并的前向传播产生逐位等价，我们通过经验验证（见§4 (https://arxiv.org/html/2609.13151#S4)）。

#### 贪心非重叠选择。

给定当前层的目标合并数m，我们按余弦相似度降序对候选相邻对排序，并贪心地选择排名靠前的对，约束条件是任何token不能参与超过一个对。合并操作将每个选定对(t,t+1)替换为其隐藏表征的均值，并移除第二个位置，使序列精确缩短m个token。

#### 邻接约束。

我们将合并限制在相邻token对之间。这在语音设置中至关重要：编码器token对应于输入频谱图中的固定时间窗口，而解码器交叉注意力大致按时间顺序单调进行。合并非相邻token将融合声学上无关的时间窗口，并破坏解码器所依赖的对齐。

### 3.3 合并层调度

我们采用Li et al. (2023 (https://arxiv.org/html/2609.13151#bib.bib9)) 提出的均匀间隔层的级联调度。具体来说，我们在由以下公式确定的固定编码器层子集上应用合并：

ML={2,5,8,11,...}∩{1,2,...,L−1},\\mathcal{M}_{L}=\\{2,5,8,11,\\ldots\\}\\cap\\{1,2,\\ldots,L-1\\},(2)
这选择了每隔三层（从第2层开始），直到L-1层（含）。对于Whisper-small (L=12)，这给出{2,5,8,11}；对于Whisper-medium (L=24)，{2,5,8,11,14,17,20,23}；对于Whisper-large-v3 (L=32)，{2,5,8,11,14,17,20,23,26,29}。在每个选定的层，我们合并m个对，其中m设置为层输入序列长度的固定比例p（例如p=0.1表示合并10%的token）。