Dolphin-CN-Dialect：中文方言识别的重要性

# Dolphin-CN-Dialect：方言之所以重要

来源: https://arxiv.org/html/2605.08961

\interspeechcameraready
Meng∗ Zhong∗ Lin∗ Wang∗ Du∗ Shao† Huang Li Zhang†
Huihang Guodong Guanbo Hu Zhiming Yukai Ke Wei\-Qiang
1 Dataocean AI
2 清华大学电子工程系语音与音频技术实验室
wqzhang@tsinghua\.edu\.cn
(https://arxiv.org/html/2605.08961v1/mailto:[email protected])

###### 摘要

我们提出了 Dolphin\-CN\-Dialect，这是一个专注于中文及多方言场景且支持流式处理的自动语音识别（ASR）模型。与前一个版本相比，Dolphin\-CN\-Dialect 在数据处理、分词（tokenization）、训练稳定性以及数据采样策略方面引入了实质性改进。为了解决方言数据高度不平衡的挑战，我们提出了一种基于温度的采样策略，有效平衡了标准普通话与低资源方言之间的分布，从而显著提升了方言识别性能。此外，我们重新设计了分词器以更好地契合语言特性，对中文采用字符级建模，对英文采用子词建模，同时引入了可扩展的方言 token。实验结果表明，与 Dolphin 相比，Dolphin\-CN\-Dialect 在方言识别准确率方面取得提升，并降低了字符错误率（CER）。此外，Dolphin\-CN\-Dialect 在保持显著更小模型体积的同时，达到了与近期最先进的开源 ASR 模型相媲美的性能。Dolphin\-CN\-Dialect 支持流式和非流式推理，实现了延迟与准确率之间的实际平衡。它还提供灵活的热词定制功能，并针对专用硬件进行了高效部署优化。这些改进使 Dolphin\-CN\-Dialect 成为现实世界多方言 ASR 应用的强大且实用的解决方案。

###### 关键词：自动语音识别（ASR）、多方言

††footnotetext: ∗共同第一作者，贡献相等
††footnotetext: †通讯作者

## 1 引言

大规模数据集、改进的神经架构以及基础模型的出现推动了自动语音识别（ASR）领域的近期进展\[1 (https://arxiv.org/html/2605.08961#bib.bib1),2 (https://arxiv.org/html/2605.08961#bib.bib2),3 (https://arxiv.org/html/2605.08961#bib.bib3)\]。现代 ASR 系统大致可分为几种范式，包括基于自监督学习（SSL）的模型\[4 (https://arxiv.org/html/2605.08961#bib.bib4),5 (https://arxiv.org/html/2605.08961#bib.bib5)\]、结合大型语言模型（LLM）的方法\[6 (https://arxiv.org/html/2605.08961#bib.bib6),7 (https://arxiv.org/html/2605.08961#bib.bib7),8 (https://arxiv.org/html/2605.08961#bib.bib8),9 (https://arxiv.org/html/2605.08961#bib.bib9)\]，以及如 Whisper\[10 (https://arxiv.org/html/2605.08961#bib.bib10)\] 这样的全监督序列到序列架构。在这些模型中，Whisper 风格的模型通过利用大规模弱监督数据，在多种语言中展示了强大的鲁棒性和泛化能力。然而，现有模型在实际部署中仍面临重大挑战，特别是在涉及方言多样性、流式需求以及数据不平衡的场景中。

一个关键限制在于语音数据的长尾分布。在许多多语言环境中，标准语言（如普通话）在训练语料库中占据主导地位，而方言和低资源变体则严重代表不足。这种不平衡导致模型在高资源语言上表现良好，但在富含方言的场景中无法泛化。先前的研究曾尝试通过数据集扩展和多语言训练来解决这一问题\[11 (https://arxiv.org/html/2605.08961#bib.bib11)\]，但方言性能仍然是瓶颈。

另一个实际挑战是部署效率和适应性。现代 ASR 系统必须在准确率、延迟和计算成本之间取得平衡，同时支持流式推理和诸如热词（hotword）等定制功能。这些要求在研究导向的模型中往往未被充分探索。

为了解决这些挑战，我们提出了 Dolphin\-CN\-Dialect，这是一种新一代 ASR 模型，专注于方言鲁棒性、数据效率和实际部署。在 Dolphin 框架的基础上，Dolphin\-CN\-Dialect 引入了几项关键改进：

- **数据采样策略**：我们提出了一种基于温度的采样方法，以平衡标准方言与低资源方言之间的数据分布，显著改善了方言识别效果。
- **分词器重新设计**：我们采用混合策略重新设计了分词方案——对中文采用字符级建模，对英文采用子词建模——并引入了可扩展的方言和任务 token。
- **流式能力**：Dolphin\-CN\-Dialect 支持流式和非流式模式，使其能够在对延迟敏感的场景中灵活部署。
- **热词偏置框架**：我们提出了一个统一的热词偏置框架，整合了编码器级的上下文偏置和基于提示（prompt）的解码。编码器级方法提供稳定且可控的偏置，而基于提示的方法通过直接调节解码器，增强了对长尾和罕见热词的识别能力。

通过这些改进，Dolphin\-CN\-Dialect 相较于 Dolphin 取得了实质性进步，包括方言准确率提升 38% 以及总体 CER 降低 16%。它还达到了与近期开源 ASR 模型（如 Qwen\-ASR 和 FireredASR\[6 (https://arxiv.org/html/2605.08961#bib.bib6),7 (https://arxiv.org/html/2605.08961#bib.bib7),8 (https://arxiv.org/html/2605.08961#bib.bib8)\]）相媲美的性能，同时保持了更小的模型体积。总体而言，Dolphin\-CN\-Dialect 弥合了研究导向的 ASR 模型与现实世界应用之间的差距，为多方言语音识别提供了一种鲁棒、高效且可扩展的解决方案。

## 2 方法

### 2.1 模型架构

参见 \[12 (https://arxiv.org/html/2605.08961#bib.bib12)\] 中的第 2.1 节，基本上我们使用相同的架构。

### 2.2 分词器

Dolphin\-CN\-Dialect 引入了重新设计的分词器，以更好地契合多方言语音数据的语言特性。与 Dolphin 相比，该分词器在词汇表结构、建模粒度和可扩展性方面进行了优化。

首先，我们将词汇表大小从 40,000 个 token 大幅减少到 18,173 个 token。这种减少提高了训练效率并稳定了优化过程，同时保持了对多方言语音建模所需的足够表达能力。

其次，我们采用了针对不同语言的混合分词策略。对于中文，我们使用字符级建模，这与 CTC\-AED 联合架构自然契合。由于 CTC 损失受益于声学帧与输出 token 之间的单调对齐，与子词单元相比，字符级单元提供了更稳定且可解释的对齐效果。对于英语和其他拼音文字，我们采用基于 BPE 的子词建模\[13 (https://arxiv.org/html/2605.08961#bib.bib13)\]，这在词汇表大小和表示灵活性之间取得了有效平衡。

第三，我们设计了一组结构化的特殊 token 以支持多任务学习和方言建模。这些包括：
- **任务 token**（例如，`<task>`）用于指定识别任务，
- **序列结束 token**（例如，`<eos>`），
- **时间戳 token**（例如，`<0.00>`）用于与对齐相关的任务，
- **方言和区域 token**（例如，`<zh_cmn>`）。

为了进一步支持可扩展性，我们预留了 80 个额外的方言 token 槽位，允许模型在不重新设计分词器的情况下轻松纳入新方言。这种设计使得向更细粒度的区域语音建模进行可扩展扩展成为可能。

总体而言，重新设计的分词器提高了对齐质量，增强了方言表示，并为未来的多方言扩展提供了灵活的基础。

### 2.3 热词偏置解码

为了提高对生僻词和领域特定短语的识别准确率，我们在 Dolphin\-CN\-Dialect 中引入了热词偏置解码框架。所提出的方法包含两种互补但独立的策略：(1) 基于上下文嵌入的编码器级上下文偏置，以及 (2) 用于注意力解码的基于提示的偏置。这两种方法可以单独或联合应用，为不同的部署场景提供灵活的支持。

#### 2.3.1 编码器级上下文偏置

我们的第一种方法将热词信息直接集成到编码器表示中，遵循先前工作中提出的上下文偏置框架\[14 (https://arxiv.org/html/2605.08961#bib.bib14)\]。具体而言，使用上下文编码器将预定义的热词列表编码为固定长度的嵌入，然后通过基于多头注意力（MHA）的偏置层与声学编码器输出融合。给定编码器隐藏表示和上下文嵌入，偏置层计算注意力权重以获得感知上下文的表示。融合后的表示随后用于下游解码，使模型能够强调与热词相关的 token。

在我们基于 WeNet\[15 (https://arxiv.org/html/2605.08961#bib.bib15)\] 框架的实现中，上下文偏置模块被集成到流式和非流式 ASR 模型中。在微调期间，仅更新与上下文偏置模块相关的参数，而所有其他模型参数（包括编码器、解码器和 CTC 层）均保持冻结。这种设计确保了可以在不降低一般 ASR 性能的情况下高效实现热词适配。

#### 2.3.2 用于注意力解码器的基于提示的热词偏置

除了编码器级偏置外，我们还提出了一种基于提示的方法，将热词信息纳入注意力解码器。该方法专为非流式模型设计，利用了注意力解码器的序列到序列特性。

我们通过用两个特殊 token `<hotword>` 和 `</hotword>` 替换保留 token 来扩展分词器。在微调期间，为每个训练样本动态构建一部分热词。具体而言，对于每个批次，我们随机采样一个热词列表，然后选择出现在当前 utterance 中的热词，并结合一组随机采样的干扰热词。这些短语被打乱并插入特殊提示 token 之间，形成解码器输入的上下文前缀。这种训练策略鼓励模型学习如何利用上下文提示，同时保持对无关或嘈杂热词的鲁棒性。

在推理期间，为了支持大规模热词列表（例如，数百到数千个短语）而不过度增加计算开销或噪声，我们采用了受先前工作\[14 (https://arxiv.org/html/2605.08961#bib.bib14)\] 启发的两阶段上下文短语过滤策略。在第一阶段，模型执行初步解码。基于这些后验概率，使用短语分数置信度指标过滤掉不相关的热词。在第二阶段，使用序列顺序置信度执行更精确的过滤，该置信度考虑短语内的 token 顺序。过滤后的热词列表随后用于最终解码，在提高识别准确率的同时显著降低了计算开销。

## 3 训练数据

在构建 Dolphin\-CN\-Dialect 的训练数据集时，我们主要关注普通话及其多样的地方方言，旨在构建一个在标准和非标准语音变体中均表现良好的鲁棒且统一的语音识别系统。这一设计选择源于中文内部的语言多样性，不同地区存在显著的音韵、词汇和韵律变化，给传统 ASR 系统带来了巨大挑战。

为了实现广泛的覆盖范围和高质量的监督，我们结合了大规模公共数据集和专有内部数据。具体而言，公共语料库包括 AISHELL、KeSpeech 和 WenetSpeech，它们为各种领域（如朗读语音、自发语音和现实世界录音）中的干净且多样的普通话语音奠定了坚实基础。这些数据集提供了丰富的注释和精心策划的音频文本对，使模型能够学习鲁棒的声学和语言表示。

除了公共资源外，我们还纳入了由 Haitan 收集的大量内部中文数据，其中包括标准普通话和广泛的中国方言。该内部数据集在增强方言覆盖范围方面发挥着关键作用，特别是对于现有开放数据集中未能充分代表的口音和区域语音模式。它还引入了更具挑战性的声学条件，如噪声环境和对话语音，进一步提高了模型的泛化能力。

总体而言，组合数据集形成了一个大规模语料库，在说话人、录音条件和语言变体方面具有广泛的多样性。为了确保一致性和可扩展性，我们将所有数据标准化为统一格式，并引入了结构化的元数据注释，包括语言标签、方言标签和特定任务的指示器。该统一数据管道支持带时间戳和不带时间戳的训练目标，以及可选的标点符号建模，使模型能够有效处理各种下游 ASR 任务。

### 3.1 数据集

#### 3.1.1 Dataocean AI 数据集

Dataocean AI 中文数据集是一个高质量的内部策划语音语料库，源自更广泛的 Dataocean AI 数据集。虽然原始数据集涵盖 38 种东方语言，并包含 137,712 小时的音频，但在 Dolphin\-CN\-Dialect 中，我们特别利用其中文子集，以更好地专注于普通话及其多样的方言变体。该中文子集由大规模、仔细注释的音频数据组成，涵盖标准普通话和广泛的地方方言，包括 22 种中国方言。该数据集整合了多个商业级数据源，确保高转录准确率和一致的注释质量。它包含丰富多样的说话风格，包括朗读语音、自发对话和现实世界录音，采集于多样的声学环境中。

该数据集的一个关键优势在于其广泛的方言覆盖范围，这为建模不同地区的发音和韵律变化提供了关键支持。与公开可用的数据集相比，该内部语料库提供了对低资源方言更均衡的代表性和更具挑战性的现实场景，显著提高了模型的鲁棒性和泛化能力。

在我们的训练流程中，Dataocean AI 中文数据集作为高质量监督数据的主要来源。它进一步标准化为统一格式，具有一致的标签，包括方言和特定任务的注释，使其能够与其他公共数据集无缝集成，并支持多样的 ASR 训练目标。

#### 3.1.2 开源数据集

除了我们的内部数据集外，我们还纳入了以下广泛可用的开源数据集，以增强我们研究的多样性和鲁棒性：
- **Common Voice**\[16 (https://arxiv.org/html/2605.08961#bib.bib16)\] 是一个多语言开源语音数据集。它包括来自多种语言志愿者的贡献，涵盖不同的口音、方言和说话风格。
- **WenetSpeech**\[17 (https://arxiv.org/html/2605.08961#bib.bib17)\] 是一个普通话中文语音数据集，包含 1