BuzzASR：100+单语语音识别模型的集群

# BuzzASR：一个由100多个单语语音识别模型组成的集群  
来源：https://arxiv.org/html/2609.09554  

###### 摘要  
我们推出BuzzASR，这是一组针对102种语言进行自动语音识别（ASR）微调的Whisper模型集合。像Whisper（Radford et al., 2023 (https://arxiv.org/html/2609.09554#bib.bib44)）这样的大型端到端Transformer ASR模型已经革新了ASR领域，但大多数主流模型是高度多语言的。因此，这些模型在其训练集中代表性不足的语言上往往表现不佳。尽管长期以来已知通过在单语数据上进行简单微调即可实现有效的语言适配，但这种方法仅被应用于少数几种语言。我们将这种简单方法大规模扩展到FLEURS数据集涵盖的102种语言，同时实施了更复杂的语言适配策略，包括整合单语分词器替换和仅文本微调的数据增强。BuzzASR模型在102种语言中的77种上超越了Whisper-large-v3，平均字符错误率（CER）降低了超过2.8倍。我们的模型在FLEURS和Common Voice的组合测试集上，在27种语言中达到了开源系统中最先进的CER水平。我们的分词器替换策略在压缩率（每词元字符数）上比Whisper的多语言BPE平均提高了3.3倍，最高增幅达21.7倍。我们公开了所有模型、代码和详细结果：https://lemn-lab.github.io/buzz-asr。  

## 1 引言  
图1：BuzzASR与Whisper在102种语言上自动语音识别的比较。对于每种语言，仅报告最佳的BuzzASR模型性能。*部分异常值因展示需要已排除。*  
图2：我们的两种语言适配方法概述。简单微调是一种最小化方法，我们在单语语音识别数据上对Whisper-large-v3进行微调。完整微调是一个三阶段流程，包括分词器替换、在仅文本和语音识别上的多任务微调，最终进行语音识别微调。  
全球使用最广泛的200种语言的语言技术将服务约90%的世界人口（Ethnologue, 2025 (https://arxiv.org/html/2609.09554#bib.bib17)）。目前，自动语音识别（ASR）模型对于这200种语言中的绝大多数来说精度都非常低，只有一小部分例外。这不仅仅是数据缺乏的问题。至少有1000种语言拥有≥10小时带文本转录的语音录音ASR数据集（Keren et al., 2025 (https://arxiv.org/html/2609.09554#bib.bib25)）。虽然这看起来数据量不大，但当应用于大型预训练多语言ASR模型的领域适配时，它可以产生惊人的效果。先前的研究利用不到10小时的单语数据，将低资源语言的单词错误率相比（当时的）最先进模型降低了一半（Jimerson et al., 2018 (https://arxiv.org/html/2609.09554#bib.bib22); Liu et al., 2024 (https://arxiv.org/html/2609.09554#bib.bib29); Özyilmaz et al., 2025 (https://arxiv.org/html/2609.09554#bib.bib62); Imam et al., 2025 (https://arxiv.org/html/2609.09554#bib.bib21)，以及其他研究）。然而，这些贡献主要将该方法应用于少数领域或语言。因此，ASR模型在大多数广泛使用的语言上表现不佳的原因，并非我们缺乏训练此类模型的能力；而是现有的资源主要用于训练大规模多语言模型或一次性的专用语言模型。最近，在文本领域，研究表明小型单语文本生成模型在涉及数百种语言的语言任务上可能优于更大的多语言模型（Chang et al., 2026 (https://arxiv.org/html/2609.09554#bib.bib8)）。我们对ASR采取了类似的方法，并探究专注于单一语言的相对较小模型是否能提供更好的性能，尤其是对于资源较低的语言。在本文中，我们展示了一套102种特定语言的ASR模型，这些模型是基于Whisper（Radford et al., 2023 (https://arxiv.org/html/2609.09554#bib.bib44)）微调而来的。在102种语言中的77种上，我们最佳的微调模型在标准化CER上优于原始的Whisper-Large-v3，其中位语言CER降低了2.18倍，平均降低了2.84倍。中位绝对CER从15.5%（Whisper零样本）降至7.6%（最佳微调模型）。在开源ASR系统中，我们的模型在FLEURS和Common Voice的组合评估中，在27种语言上达到了最先进的CER。收益在Whisper表现最弱的地方最大：在Whisper按CER最差的51种语言中，中位数降幅为3.45倍，对于10种语言，最佳微调模型将CER降低了超过6倍，以阿姆哈拉语、马耳他语和索拉尼库尔德语为首。虽然简单微调有效，但我们也探索了对朴素方法的两种改进：首先，我们为每种语言修改Whisper分词器。原始分词器在不平衡的多语言数据集上训练，导致在使用不足的语言或非拉丁字母语言中序列长度过长——从而性能更差和推理延迟更高。其次，除了在ASR数据上微调音频编码器和文本解码器外，我们还在单语文本数据上微调Whisper文本解码器。许多语言在Whisper的预训练数据中代表性不足，而有限的ASR数据不足以学习目标语言的词汇和语法。然而，在许多此类情况下，有足够的文本数据可用，使我们无需大量音频数据即可灌输这种特定语言的知识。这项工作的结果表明，特定语言模型可以表现得更好、更高效，利用相对较小的资源。我们发布了102种语言的模型套件，据我们所知，其中27种是开源模型中最先进的。  

## 2 相关工作  
### 2.1 低资源与多语言ASR  
早期的低资源ASR工作主要集中在为各个低资源语言开发单语或有限多语言系统（Naing et al., 2015 (https://arxiv.org/html/2609.09554#bib.bib38); Popović et al., 2017 (https://arxiv.org/html/2609.09554#bib.bib40); Kipyatkova and Karpov, 2016 (https://arxiv.org/html/2609.09554#bib.bib26); Bali et al., 2013 (https://arxiv.org/html/2609.09554#bib.bib5); Upadhyaya et al., 2017 (https://arxiv.org/html/2609.09554#bib.bib53); Ali et al., 2014 (https://arxiv.org/html/2609.09554#bib.bib1); Luong and Vu, 2016 (https://arxiv.org/html/2609.09554#bib.bib31); Deka et al., 2018 (https://arxiv.org/html/2609.09554#bib.bib13)，以及其他研究）。后来发现，多语言预训练即使没有或几乎没有额外监督也很有效（Watanabe et al., 2017 (https://arxiv.org/html/2609.09554#bib.bib56); Toshniwal et al., 2018 (https://arxiv.org/html/2609.09554#bib.bib52)）。受这些发现启发，Srivastava et al. (2018) (https://arxiv.org/html/2609.09554#bib.bib50)和Diwan et al. (2021) (https://arxiv.org/html/2609.09554#bib.bib15)发布了高质量的语音数据集，并进行了鼓励多语言ASR研究的共享任务。Klejch et al. (2021) (https://arxiv.org/html/2609.09554#bib.bib27)和Mirishkar et al. (2021) (https://arxiv.org/html/2609.09554#bib.bib37)应用各种成熟的数据清洗、增强和多语言技术，在发布的共享任务数据集上取得了最先进的结果。除了大规模数据工作外，架构创新（Vaswani et al., 2017 (https://arxiv.org/html/2609.09554#bib.bib54)）和自监督学习的进步使得构建强大的扩展ASR模型（如Whisper）成为可能，这些模型在多个基准测试中取得了最先进的结果（Radford et al., 2023 (https://arxiv.org/html/2609.09554#bib.bib44)）。值得注意的是，wav2vec（Schneider et al., 2019 (https://arxiv.org/html/2609.09554#bib.bib46)）表明语音表示可以从无标签音频中学习，从而减少了对标签数据的依赖。许多人从语言覆盖范围、训练小时数和模型规模方面扩展了这一范式（Baevski et al., 2020 (https://arxiv.org/html/2609.09554#bib.bib4); Babu et al., 2022 (https://arxiv.org/html/2609.09554#bib.bib3); Zhang et al., 2023 (https://arxiv.org/html/2609.09554#bib.bib60); Pratap et al., 2024 (https://arxiv.org/html/2609.09554#bib.bib41)）。发布时，Whisper在不同语言和多样化条件下都实现了最先进的性能，导致了广泛采用（Radford et al., 2023 (https://arxiv.org/html/2609.09554#bib.bib44); Olatunji et al., 2023 (https://arxiv.org/html/2609.09554#bib.bib39); Bhogale et al., 2023b (https://arxiv.org/html/2609.09554#bib.bib7); Talafha et al., 2023 (https://arxiv.org/html/2609.09554#bib.bib51)）。Whisper还激发了一系列针对新语言、领域和任务的适配策略，包括微调（Bhogale et al., 2023b (https://arxiv.org/html/2609.09554#bib.bib7); Yadavalli et al., 2025 (https://arxiv.org/html/2609.09554#bib.bib58)）、参数高效微调（Kang et al., 2024 (https://arxiv.org/html/2609.09554#bib.bib24); Song et al., 2024 (https://arxiv.org/html/2609.09554#bib.bib49)）、提示调优（Ma et al., 2024 (https://arxiv.org/html/2609.09554#bib.bib32); Yang et al., 2025 (https://arxiv.org/html/2609.09554#bib.bib59)）、多语言或多任务微调（Bhogale et al., 2023b (https://arxiv.org/html/2609.09554#bib.bib7); Olatunji et al., 2023 (https://arxiv.org/html/2609.09554#bib.bib39)）以及其他方法（Zhao et al., 2026 (https://arxiv.org/html/2609.09554#bib.bib61); Juvekar et al., 2026 (https://arxiv.org/html/2609.09554#bib.bib23)）。鉴于Whisper的广泛应用和不断增长的相关工作，我们在本研究中对Whisper模型进行了实验。  

### 2.2 ASR数据集  
近期创建并公开发布大规模多语言ASR语料库的努力，使得多语言ASR模型的扩展成为可能（Pratap et al., 2020 (https://arxiv.org/html/2609.09554#bib.bib42); Wang et al., 2021 (https://arxiv.org/html/2609.09554#bib.bib55); Li et al., 2024 (https://arxiv.org/html/2609.09554#bib.bib28)）。然而，其中许多数据集主要关注高资源的欧洲语言。为了解决这一局限性，人们做了大量工作来收集其他语言和地区的语音语料库。其中一个早期的努力是BABEL（Gales et al., 2014 (https://arxiv.org/html/2609.09554#bib.bib18)），一个涵盖17种低资源语言的多语言对话电话语音语料库。Common Voice（Ardila et al., 2020 (https://arxiv.org/html/2609.09554#bib.bib2)）是Mozilla维护的一个持续发展的大型众包项目，旨在收集大量语言的语音数据。FLEURS（Conneau et al., 2023 (https://arxiv.org/html/2609.09554#bib.bib12)）是一个涵盖102种语言的n路并行语音数据集，改编自FLORES-101（Goyal et al., 2022 (https://arxiv.org/html/2609.09554#bib.bib20)）机器翻译基准。Chen et al. (2024) (https://arxiv.org/html/2609.09554#bib.bib10)发布了一个未经转录的多语言语音数据集，覆盖超过4000种语言。最近，Omnilingual发布了348种传统上资源不足的语言的转录数据（Keren et al., 2025 (https://arxiv.org/html/2609.09554#bib.bib25)）。一些区域性倡议也专注于改善代表性不足语言的语音资源。Project Vaani（Pulikodan et al., 2026 (https://arxiv.org/html/2609.09554#bib.bib43)）发布了超过30,000小时与文化相关的语音数据，涵盖印度次大陆的100多种语言，同时确保了地区多样性。Shrutilipi（Bhogale et al., 2023a (https://arxiv.org/html/2609.09554#bib.bib6)）发布了超过6,000小时的转录印度语音数据，这些数据从野外来源挖掘而来。同样，African Next Voices（Marivate et al., 2026 (https://arxiv.org/html/2609.09554#bib.bib34)）、NaijaVoices（Emezue et al., 2025 (https://arxiv.org/html/2609.09554#bib.bib16)）和WAXAL（Diack et al., 2026 (https://arxiv.org/html/2609.09554#bib.bib14)）为几种非洲语言提供了高质量、文化丰富的语音数据集。在本研究中，我们使用Common Voice（Ardila et al., 2020 (https://arxiv.org/html/2609.09554#bib.bib2)）和FLEURS（Conneau et al., 2023 (https://arxiv.org/html/2609.09554#bib.bib12)），因为它们提供了具有广泛语言覆盖范围的高质量多语言语音数据，非常适合我们的工作。  

### 2.3 多语言诅咒  
虽然联合多语言训练由于跨语言迁移在ASR中可以带来令人印象深刻的结果（Pratap et al., 2024 (https://arxiv.org/html/2609.09554#bib.bib41); Keren et al., 2025 (https://arxiv.org/html/2609.09554#bib.bib25)），但多语言预训练也可能受到“多语言诅咒”的限制（Conneau et al., 2020 (https://arxiv.org/html/2609.09554#bib.bib11); Mei et al., 2026 (https://arxiv.org/html/2609.09554#bib.bib35); Zhao et al., 2026 (https://arxiv.org/html/2609.09554#bib.bib61)）。这指的是在非常大量的语言上进行训练会导致许多语言性能下降的现象。这已经在文本生成模型中得到研究，发现是由于模型容量有限和不相关语言的负干扰造成的（Chang et al., 2024 (https://arxiv.org/html/2609.09554#bib.bib9)）。  

## 3 适配策略  
在本文中，我们希望挑战对“一个模型统治所有”的范式的依赖，并倡导针对特定语言和上下文的训练，以最大化每种语言的性能。我们考虑了将预训练Whisper适配到目标语言的两种方法：简单微调（Simple fine-tuning）涉及使用ASR目标，在对齐的单语语音-文本数据上微调整个Whisper模型。完整微调（Full fine-tuning）是一个更复杂的流程，其中我们用特定语言的分词器替换Whisper的多语言分词器，并在单语纯文本和语音-文本数据的混合体上进行微调。参考图2（https://arxiv.org/html/2609.09554#S1.F2），我们在下面介绍这些流程的基本构建模块：分词器替换（tokenizer replacement）、ASR微调（ASR fine-tuning）和文本微调（text fine-tuning）。此外，多任务微调（multitask fine-tuning）结合了文本微调和ASR微调。  

### 3.1 分词器替换  
Whisper使用基于字节的字节对编码（BPE）分词器（Sennrich et al., 2016 (https://arxiv.org/html/2609.09554#bib.bib47); Radford et al., 2019 (https://arxiv.org/html/2609.09554#bib.bib45)），词汇表包含51,865个词元：50,257个BPE合并和1,608个特殊词元，其中包括99个语言词元。Whisper分词器是在严重偏向英语的语料库上训练的（Radford et al., 2023 (https://arxiv.org/html/2609.09554#bib.bib44)）。因此，该分词器仅对代表性最高的语言适应良好，尤其不适合使用非拉丁字母和独特文字的语言。替换词汇表可以使模型最大程度地、高效地受益于特定语言适配（Minixhofer et al., 2022 (https://arxiv.org/html/2609.09554#bib.bib36)，以及其他研究）。为了为目标语言执行分词器替换，我们首先在单语文本语料库上训练一个新的BPE分词器。虽然我们可以简单地随机初始化一个新的