使基础ASR模型适应构音障碍语音：一项案例研究

# 适配基础ASR模型至构音障碍语音：案例研究
来源：https://arxiv.org/html/2606.31722
###### 摘要

自动语音识别(ASR)系统在构音障碍语音中通常表现不佳，限制了其对于受影响者在日常交流中的实用性。本文为一位构音障碍使用者构建了个性化ASR系统，通过将基础ASR模型适配到特定使用者的数据来实现。我们使用TEQST工具收集了92小时的朗读语音，随后通过部署的移动应用额外收集了8.8小时用户修正数据。以Whisper为基础，微调后——仅用1.4小时适配数据——词错误率降至15.8%；使用22.5小时数据时达到10.7%；使用包括修正数据在内的全部可用数据时，实现了最佳结果9.7%。在此设置下，使用LoRA适配和/或Qwen3-ASR作为基础模型表现较差。结果表明，个性化微调可以使基础ASR模型在构音障碍语音上显著提升效果，并适合实际部署。

## I 引言

ASR技术快速发展[14 (https://arxiv.org/html/2606.31722#bib.bib2),9 (https://arxiv.org/html/2606.31722#bib.bib3)]，尤其是大型基础模型的发展[10 (https://arxiv.org/html/2606.31722#bib.bib4),11 (https://arxiv.org/html/2606.31722#bib.bib5)]，在标准语音基准上已能达到接近人类水平的表现。然而，这些模型大多基于标准语音训练，面对构音障碍语音时表现较差。这排除了本可以极大受益于此技术的用户。本研究的用户受到约翰·坎宁安病毒(JC-virus)的影响，该病毒可导致进行性多灶性白质脑病(PML)——一种由中枢神经系统白质脱髓鞘引起的严重脑部疾病。这种神经损伤会影响包括言语在内的运动控制，导致构音障碍。构音障碍语音的示例视频可见此处 (https://lecture-translator.kit.edu/archivesession/Ly9PdGhlci9Eb2VocmluZy9Eb2VocmluZ1NwcmVjaHByb2JlMlZpZGVv)。测试者的语音对标准ASR系统构成重大挑战，基准性能表现可证明此点（见第IV节 (https://arxiv.org/html/2606.31722#S4)）。尽管面临这些挑战，语音仍是测试用户偏好的交流方式，因为它能够实现自然的面对面互动。

本文的主要贡献包括：1）为一位构音障碍用户构建个性化ASR流水线，通过微调Whisper模型实现9.7%的字错误率；2）比较评估性能如何依赖于适配数据量、全参数微调与LoRA适配的差异，以及Whisper与Qwen3-ASR的对比；3）部署一款移动应用，通过实际使用实现持续数据收集。

## II 相关工作

### II-A 基础ASR模型

近期自监督和弱监督预训练的进展催生了基础ASR模型，例如Whisper[10 (https://arxiv.org/html/2606.31722#bib.bib4)]，该模型在大规模弱标注数据上训练；以及最近的Qwen3-ASR[11 (https://arxiv.org/html/2606.31722#bib.bib5)]，它利用大语言模型骨干进行语音理解。

### II-B 构音障碍语音识别

由于构音障碍语音的声学变异性和可用训练数据的稀缺性，识别构音障碍语音仍然是一个长期挑战[2 (https://arxiv.org/html/2606.31722#bib.bib14)]。早期方法依赖于独立于说话者的声学模型结合数据增强策略，包括速度扰动和基于GAN的对抗增强[15 (https://arxiv.org/html/2606.31722#bib.bib15)]、语音转换[7 (https://arxiv.org/html/2606.31722#bib.bib16)]，以及通过个性化文本转语音生成合成数据[8 (https://arxiv.org/html/2606.31722#bib.bib17)]。

参见图注图1：测试集上的字错误率与构音障碍适配数据小时数的关系。与我们的工作更相关的是，多项研究表明，在特定说话者的构音障碍语音上进行个性化微调，其性能显著优于独立于说话者的模型[12 (https://arxiv.org/html/2606.31722#bib.bib18)]。例如，个性化微调在肌萎缩侧索硬化(ALS)患者中实现了字错误率从62%到35%的相对改善，对于轻度构音障碍达到10%字错误率，对于较重度构音障碍达到20%字错误率[12 (https://arxiv.org/html/2606.31722#bib.bib18)]。其他工作探索了通过上下文学习进行即时个性化，以避免为每位说话者单独训练模型的成本[1 (https://arxiv.org/html/2606.31722#bib.bib19)]。

我们的工作与先前研究在三个方面不同：我们在单一说话者上使用了大得多的适配数据集（高达100小时），同时评估了全参数微调和参数高效的LoRA适配[3 (https://arxiv.org/html/2606.31722#bib.bib11)]；我们比较了两种不同的基础模型家族（Whisper和Qwen3-ASR）；并且我们将所得系统部署在真实世界的移动应用中，通过用户修正实现持续数据收集，超越了纯离线评估。

表I：数据集统计。
拆分 段数 时长（小时）
训练 22,572 89.8
修正 4,446 8.8
开发 209 1.1
测试 217 1.1
总计 27,444 100.8

## III 数据

为了收集构音障碍语音数据，我们使用了TEQST工具[4 (https://arxiv.org/html/2606.31722#bib.bib9)]。数据集可在此处 (https://huggingface.co/datasets/chuber/dysarthric-speech) 访问。该工具使用户能够在家中无监督地录音。用户解释称，否则收集数据将不可能，因为录音需要花费大量精力且需要长时间休息。一位说话者朗读了92小时，我们将其划分为训练集、开发集和测试集（见表I (https://arxiv.org/html/2606.31722#S2.T1)）。提供的文本数据来自童话领域。我们在此数据上适配了模型（见第IV节 (https://arxiv.org/html/2606.31722#S4)），并将其部署在移动应用中（见第V节 (https://arxiv.org/html/2606.31722#S5)）。说话者在日常生活中使用该模型，并可以实时纠正错误。通过这种方式，我们又收集了8.8小时的数据。

## IV 实验与结果

我们以Whisper[10 (https://arxiv.org/html/2606.31722#bib.bib4)] (whisper-large-v3) 作为基线模型，比较了全模型微调和仅使用LoRA[3 (https://arxiv.org/html/2606.31722#bib.bib11)]权重适配。

微调结果见图1 (https://arxiv.org/html/2606.31722#S2.F1)。仅使用1.4小时适配数据，我们观察到字错误率为15.8%，相较于基线模型的128.4%字错误率已有巨大提升。使用22.5小时适配数据，我们得到10.7%字错误率，这是数据量与性能之间的良好折中。加入包括修正数据在内的全部数据时，表现最佳，字错误率为9.7%。

仅适配LoRA权重时表现明显更差（相对差距在15%到39%之间），在相同适配数据量下。原因可能是构音障碍语音与基线模型训练所用的语音差异巨大，而添加的LoRA权重没有能力学习这种差异。

此外，我们使用Qwen3-ASR-1.7B[11 (https://arxiv.org/html/2606.31722#bib.bib5)]作为基线模型进行了相同实验。然而，其表现差于Whisper。使用全部适配数据时，全参数微调和LoRA分别获得了14%至16%之间的字错误率。

## V 部署

参见图注参见图注参见图注

图2：iOS应用：（左）主录音界面，（中）录音后显示的转录文本，（右）修正确认对话框，用于持续改进模型。经过微调的模型被部署，最初为安卓应用，后转为iOS应用。iOS部署在测试用户手机上作为个性化语音交流器（见图2 (https://arxiv.org/html/2606.31722#S5.F2)）。它围绕构音障碍说话者的特定需求设计，优先考虑可访问性、简洁性和自然的交流体验。

模型托管在云端，使用基于CTranslate2[5 (https://arxiv.org/html/2606.31722#bib.bib12),6 (https://arxiv.org/html/2606.31722#bib.bib13)]的faster whisper[13 (https://arxiv.org/html/2606.31722#bib.bib10)]实现。设备上录制的音频被传输到服务器，生成的转录文本实时返回给应用。采用服务器端方法是为了快速推理，同时避免给手机带来计算负担，从而大幅提高转录速度。

应用界面极简，高对比度，以单个大麦克风按钮为中心，便于在精细运动控制受限时操作（见图2 (https://arxiv.org/html/2606.31722#S5.F2)）。转录文本显示在麦克风按钮上方的大文本框中（见图2 (https://arxiv.org/html/2606.31722#S5.F2)）。

说话者参与了开发过程，并对应用设置做出了重要贡献，使该应用非常适合运动及言语障碍用户。

我们提供了不同的交互选项以适应不同的说话者偏好。有三种录音模式：点击开始、按住录音以及上述两者的混合模式，称为单次点击。点击开始模式让用户点击一次开始录音，再点击一次停止录音。按住录音模式让用户在按住麦克风按钮时录音。最后一种模式适合运动障碍患者，给他们更大的时间窗口来按住并释放按钮，同时仍能录音。转录文本可通过设备的文本转语音系统朗读出来，提供多种语音。这使得说话者能够在对方无法阅读屏幕的情况下进行交流。该设计使说话者能够与另一方自由交谈，相较于基于文本的交流替代方案，显著提高了生活质量。应用的另一个核心功能是其修正与反馈机制。当得到转录文本时，如果存在错误，说话者可以直接编辑识别出的文本。然后该文本可以发送回服务器，并与音频样本一起保存（见图2 (https://arxiv.org/html/2606.31722#S5.F2)）。

说话者也报告说，由于该应用，自己的声音有所改善。当仅靠语音不足以理解时，能够将应用作为后备选项。这给了该人士更频繁说话的信心。

## VI 结论

在这项工作中，我们提出了一个个性化ASR系统，将基础模型适配到单一构音障碍说话者的语音。从基线字错误率128.4%（这使得开箱即用的模型实际上无法使用）出发，Whisper的全参数微调仅用1.4小时适配数据就将字错误率降至15.8%，使用包括用户修正在内的全部数据时降至9.7%。我们的比较表明，随着适配数据的增加，性能稳步提升，早期增益最大，在约22.5小时数据时已达到有利的折中（10.7%字错误率）。全参数微调始终优于LoRA适配，而Whisper在这位说话者上被证明是比Qwen3-ASR更强的基础模型，这表明构音障碍语音与标准语音之间的显著差异受益于调整全部模型能力。

除了识别结果，我们将适配后的模型部署在围绕说话者可访问性需求设计的移动应用中，该应用既可作为实用的交流辅助工具，又能通过日常使用持续收集修正数据。说话者报告生活质量显著改善，说话信心增强。这些结果共同表明，个性化微调可以将一个在构音障碍语音上失败的基础ASR模型转变为足够准确和鲁棒、适合实际部署的系统。

### VI-A 局限性

目前，ASR模型运行在远程服务器上，需要互联网连接才能使用。本地设备端部署可以改善隐私和可靠性，但大型模型的实时推理在计算上仍具挑战性。为了在设备端实时推理，可能需要量化和/或使用更小的模型。然而，这可能会降低性能。

当前系统针对单一构音障碍说话者进行个性化，尚不清楚对于其他具有不同特点的说话者需要多少适配数据。尽管我们的结果表明微调对用户非常有效，但可能无法直接泛化到其他说话者而不收集一些特定说话者的数据，这代表了更广泛应用中的一个显著障碍。

最后，将这种方法扩展到同时服务多位说话者，可能通过一个单一的多说话者自适应模型，仍然是一个开放的研究问题，我们留作未来工作。我们与用户设定的另一个目标是使用Apple Watch伴侣应用。这已被用户确认为一个有前景的扩展，可以实现更便捷的录音。文本和生成的语音仍将从留在用户身边的手机播放。这将使用户无需手持任何设备即可交流。

## VII 致谢

本研究所基于的项目获得了欧盟Horizon研究与创新计划的资助，资助协议编号No 101135798 (Meetween) 和 101213369 (DVPS)，以及KIT Campus Transfer GmbH (KCT) 员工与Carnegie – AI合作的资助。作者衷心感谢支持。

## VIII 生成式AI工具的使用

在本工作的准备过程中，有限地使用了生成式AI工具。具体来说，AI辅助代码补全被用于支持软件开发任务。语言模型建议被用于优化书面文本的清晰度和风格。此外，生成式AI工具协助了图形的增强。所有实质性的智力贡献，包括研究设计、方法、分析和结论，完全由作者本人完成。

## 参考文献

- [1] D. Agarwal, H. Zhang, Y. Yu, and Q. Wang (2025) The universal personalizer: few-shot dysarthric speech recognition via meta-learning. arXiv preprint arXiv:2509.15516. 引用自：§II-B (https://arxiv.org/html/2606.31722#S2.SS2.p2.1).
- [2] C. Bhat and H. Strik (2025) Speech technology for automatic recognition and assessment of dysarthric speech: an overview. Journal of Speech, Language, and Hearing Research 68(2), pp. 547–577. 外部链接：Document (https://dx.doi.org/10.1044/2024%5FJSLHR-23-00740) 引用自：§II-B (https://arxiv.org/html/2606.31722#S2.SS2.p1.1).
- [3] E. J. Hu, Y. Shen, P. Wallis, Z. Allen-Zhu, Y. Li, S. Wang, L. Wang, W. Chen, et al. (2022) Lora: low-rank adaptation of large language models. Iclr 1(2), pp. 3. 引用自：§II-B (https://arxiv.org/html/2606.31722#S2.SS2.p3.1), §IV (https://arxiv.org/html/2606.31722#S4.p1.1).
- [4] TEQST: tool to easily quench speechdata thirst 注：https://github.com/TEQST/TEQST 由卡尔斯鲁厄理工学院(IAR)人形机器人学与自动化研究所开发，由Juan Hussain和Prof. Dr. A. Waibel指导。引用自：§III (https://arxiv.org/html/2606.31722#S3.p1.1)