通过声学掩蔽量化辅音对单词可懂度的贡献

# 通过声学遮蔽量化辅音对词语可懂度的贡献
来源：https://arxiv.org/html/2609.12122

作者：Eunjung Yeo2, Kwanghee Choi2, Krupaben Kothadia4, Visar Berisha4, Julie M\. Liss4, David R\. Mortensen5, David Harwath2  
机构：2美国德克萨斯大学奥斯汀分校，4美国亚利桑那州立大学，5美国卡内基梅隆大学  
邮箱：\{eunjung\.yeo,harwath\}@utexas\.edu

###### 摘要

辅音对词语可理解程度的贡献并不均等。鉴于治疗时间有限，按照对可懂度的贡献对辅音进行排序，有助于在运动言语障碍中确定干预目标的优先级。然而，测量这种贡献依赖于难以扩展的感知研究。本文提出一种可扩展的方法，利用声学遮蔽来衡量辅音贡献。我们逐个静音孤立词中的一个辅音，并测试自动语音识别（ASR）模型是否仍能识别该词。我们将辅音的贡献得分定义为被遮蔽实例中导致词语误识的比例，称为遮蔽诱导误识率（MMR）。我们通过两个先前报道与辅音贡献相关的语言学因素（即音素频率和功能负荷量）来验证MMR。我们在英语、西班牙语、德语和捷克语四种语言上应用此分析，使用三种ASR架构：MMS（仅编码器）、Whisper（编码器-解码器）和Qwen3-ASR（基于大语言模型）。通过偏斯皮尔曼相关分析，我们发现音素频率与MMR呈负相关，而功能负荷量与MMR呈正相关。换句话说，更频繁的辅音在被遮蔽时干扰性较小，而承载更多词汇对比的辅音则干扰性更强。进一步的跨语言分析表明，辅音排名并不一致，这表明辅音贡献具有语言依赖性。

###### 关键词：

可懂度，辅音贡献，功能负荷量，跨语言分析

## I 引言

语音可懂度对不同音素的依赖并不均衡\[1 (https://arxiv.org/html/2609.12122#bib.bib42),2 (https://arxiv.org/html/2609.12122#bib.bib9)\]。某些音素发音不准会导致听者误识别词语，而另一些则对可懂度影响有限\[3 (https://arxiv.org/html/2609.12122#bib.bib39),4 (https://arxiv.org/html/2609.12122#bib.bib8)\]。了解每个音素对可懂度的贡献程度，在任何关注发音准确性的情境中都具有实际意义，从第二语言学习者\[5 (https://arxiv.org/html/2609.12122#bib.bib44)\]到患有运动言语障碍的个体\[6 (https://arxiv.org/html/2609.12122#bib.bib12),7 (https://arxiv.org/html/2609.12122#bib.bib25)\]，干预时间有限使得确定优先级尤为重要。

在运动言语障碍（MSD）中，不精确的发音是导致可懂度下降的主要因素之一\[8 (https://arxiv.org/html/2609.12122#bib.bib13)\]。因此，音素水平的发音治疗是一种常见的干预方式，例如“提升发音疗法”（BArT）等项目会针对说话者发音不准的音素进行训练\[9 (https://arxiv.org/html/2609.12122#bib.bib45)\]。然而，优先处理哪些音素则留待言语语言病理学家（SLPs）的临床判断\[10 (https://arxiv.org/html/2609.12122#bib.bib38)\]，并参考若干标准\[11 (https://arxiv.org/html/2609.12122#bib.bib11)\]。这些标准包括可激发性（针对说话者经引导可近似的发音）、发音简易性（倾向于运动要求更简单的音素）以及音素频率（优先处理日常言语中反复出现的声音）。

除了这些标准，音素对可懂度的贡献度提供了另一个优先级考量维度，即其正确发音在多大程度上决定了词语是否能被理解。一个音素可能具有可激发性、易于发音或出现频繁，但对词语的识别贡献却可能不大。将贡献度作为一个额外维度，有助于将有限的治疗时间引导至在误发音素中对可懂度贡献最大的声音上。功能性对可懂度的重要性（FITI）框架\[12 (https://arxiv.org/html/2609.12122#bib.bib14),13 (https://arxiv.org/html/2609.12122#bib.bib15),14 (https://arxiv.org/html/2609.12122#bib.bib27)\]最近被提出以捕捉这一维度，它将音素的贡献归因于位置显著性、频率和功能负荷量等语言因素。虽然该框架旨在跨语言适用，但目前仅在英语中针对少量辅音进行了感知验证\[14 (https://arxiv.org/html/2609.12122#bib.bib27)\]。

图1：实验流程概述。模块1（基线验证）：ASR模型转录词语。仅保留正确识别的词语用于遮蔽。模块2（声学遮蔽与ASR转录）：逐个静音目标辅音，并重新转录被遮蔽的词语。参考与预测之间的不匹配被记录为误识。模块3（辅音贡献度排序）：对每个辅音，导致误识的遮蔽试验比例给出其遮蔽诱导误识率（MMR）。模块4（相关性分析）：比较MMR排名与两个语言学因素。

直接测量音素贡献度是困难的。对可懂度的贡献最终由人类感知定义，因此测量它需要对每个位置的每个音素都进行听者判断。这种困难在跨语言情况下更为突出。因为贡献度受特定语言音系结构的塑造\[3 (https://arxiv.org/html/2609.12122#bib.bib39),15 (https://arxiv.org/html/2609.12122#bib.bib7)\]，每种语言都需要针对母语者和特定语言刺激进行独立的感知研究。为每种相关语言进行此类研究成本高昂得令人望而却步。

自动语音识别（ASR）为感知评估提供了一种可扩展的替代方案。ASR得出的词错误率（WER）已成为TTS和语音转换合成语音人类可懂度判断的标准代理指标\[16 (https://arxiv.org/html/2609.12122#bib.bib16),17 (https://arxiv.org/html/2609.12122#bib.bib17),18 (https://arxiv.org/html/2609.12122#bib.bib18)\]。据报道，WER与临床医生评定的构音障碍患者可懂度也具有可靠的相关性\[19 (https://arxiv.org/html/2609.12122#bib.bib37),20 (https://arxiv.org/html/2609.12122#bib.bib31)\]。由于ASR可以在大规模语料库上低成本运行，它能够测量音素在语言自然分布的上下文和词语中的情况，这是感知研究无法覆盖的。此外，最近的多语言ASR模型使得相同的基于WER的测量可以扩展到多种语言。

本文提出一种可扩展的方法，用于量化跨语言情况下各个辅音对词语可懂度的贡献程度。我们关注辅音，因为它们比元音更严格地约束词汇识别\[21 (https://arxiv.org/html/2609.12122#bib.bib26)\]。对于每个辅音，我们在孤立词中遮蔽其声学区间，并测试ASR模型是否仍能识别该词。我们将每个辅音的贡献定义为遮蔽诱导误识率（MMR），即词语被误识的遮蔽实例所占的比例。我们在典型言语上计算MMR，以获得独立于任何个体说话者障碍的语言层面先验。我们在英语、西班牙语、德语和捷克语上进行评估，后三者是OneVoice-MSD特别会议\[22 (https://arxiv.org/html/2609.12122#bib.bib6)\]的重点语言。

总结而言，我们的贡献如下：
- •我们引入了遮蔽诱导误识率（MMR），这是一种语言无关的方法，通过基于ASR的声学遮蔽量化辅音对词语可懂度的贡献，适用于任何拥有强制对齐器和多语言ASR模型的语言。
- •我们通过已建立的辅音贡献语言学因素（音素频率和功能负荷量）验证了MMR，表明MMR能够捕捉辅音贡献度。
- •将MMR应用于英语、西班牙语、德语和捷克语，我们发现辅音贡献度排名在不同语言间并不一致，表明辅音贡献具有语言依赖性。

## II 相关工作

**音素对可懂度的贡献**。音素在贡献于可懂度的程度上存在差异\[2 (https://arxiv.org/html/2609.12122#bib.bib9),23 (https://arxiv.org/html/2609.12122#bib.bib10),24 (https://arxiv.org/html/2609.12122#bib.bib29)\]。例如，在孤立词中，辅音比元音承载更多的词汇信息\[21 (https://arxiv.org/html/2609.12122#bib.bib26)\]，并且某些音素的发音准确性比其他音素与可懂度的相关性更强\[4 (https://arxiv.org/html/2609.12122#bib.bib8)\]。然而，按其对可懂度的贡献对各个辅音进行排名受到的关注较少。FITI框架\[12 (https://arxiv.org/html/2609.12122#bib.bib14),13 (https://arxiv.org/html/2609.12122#bib.bib15),14 (https://arxiv.org/html/2609.12122#bib.bib27)\]提供了一个概念层级，从频率、功能负荷量和位置显著性等语言因素共同推导辅音的重要性。目前的验证涵盖了两个英语辅音，// 和 //\[14 (https://arxiv.org/html/2609.12122#bib.bib27)\]。在此基础上，我们使用ASR为完整的辅音库和四种语言提供了辅音贡献的实证测量。

**遮蔽作为一种探测方法**。测量当信号部分被移除或扰动时识别如何退化，是一种成熟的探测方法，用于确定哪些片段承载了可懂度信息\[1 (https://arxiv.org/html/2609.12122#bib.bib42),25 (https://arxiv.org/html/2609.12122#bib.bib43)\]。如果遮蔽后话语被正确识别，则被移除的片段可以从其余输入中恢复。如果未被正确识别，则该片段携带了其余输入未提供的信息。最近的工作使用ASR实现了这一点，向完整句子中的音素添加噪声，并从识别器输出读取可懂度\[26 (https://arxiv.org/html/2609.12122#bib.bib19)\]。作者指出，词语级别的退化部分反映了识别器对句子上下文的使用，而不仅仅是遮蔽的片段。因此，我们单独解码每个词，使探测聚焦于从词语内部而非周围上下文的可恢复性。

## III 方法

图1 (https://arxiv.org/html/2609.12122#S1.F1)概述了我们的实验流程。我们用静音替换辅音区间，保持信号其余部分完整。由于静音消除了区间内的所有声学信息，而真实的误发音通常保留部分线索（如发音方式或频谱形状），因此所得测量构成了该辅音贡献度的上界。

1. **强制对齐**。每个话语在词和音素级别与其转录文本进行强制对齐，识别出每个音素的区间[pstart,pend][p_{\\text{start}},p_{\\text{end}}]及其所在词的边界[wstart,wend][w_{\\text{start}},w_{\\text{end}}]。

2. **基线转录**。将每个词裁剪到[wstart,wend][w_{\\text{start}},w_{\\text{end}}]区间，并由ASR模型（第IV-B3节 (https://arxiv.org/html/2609.12122#S4.SS2.SSS3)）单独转录。仅保留正确转录的词，以确保任何后续误识都归因于遮蔽，而非先前存在的错误。同音词被视为正确转录（例如 write 和 right）。

3. **静音遮蔽与重新转录**。对于每个词，逐个遮蔽每个辅音区间（用静音），并留有余量以抑制相邻片段的协同发音泄漏（第IV-B2节 (https://arxiv.org/html/2609.12122#S4.SS2.SSS2)）。每个被遮蔽的词随后由ASR模型独立重新转录。

4. **评分与聚合**。如果重新转录结果不再与参考词匹配，则评分为遮蔽诱导误识，否则为正确，同样将同音词视为正确。对于每个辅音，我们对所有实例取平均，以获得其对可懂度的贡献得分，即遮蔽诱导误识率（MMR）。分数按语言和ASR模型分别计算。

## IV 实验设置

### IV-A 数据集

我们使用涵盖四种语言的五个语料库：英语（en）、西班牙语（es）、德语（de）和捷克语（cs），其中后三者是OneVoice-MSD 2026\[22 (https://arxiv.org/html/2609.12122#bib.bib6)\]的重点语言。

Common Voice (CV)\[27 (https://arxiv.org/html/2609.12122#bib.bib35)\]是一个大规模众包朗读语音语料库，包含跨多种语言的句子级转录，提供了对常用词汇广泛的音素覆盖。我们使用22.0版本，其中测试集用于声学遮蔽（第IV-B节 (https://arxiv.org/html/2609.12122#S4.SS2)），训练集和开发集用于估计语言学因素（第IV-C节 (https://arxiv.org/html/2609.12122#S4.SS3)）。

TIMIT\[28 (https://arxiv.org/html/2609.12122#bib.bib36)\]是一个美式英语的声学-音系学语料库，具有手工验证的、时间对齐的音素边界。我们使用TIMIT作为第二个英语数据集，遮蔽其测试集，并将结果与基于Common Voice英语估计的语言学因素进行比较。这让我们能够检验MMR与语言学因素之间的联系是否在同一种语言的独立语料库中成立。

### IV-B 声学遮蔽

#### IV-B1 强制对齐

对于TIMIT，我们使用数据集的手动音素分割：将ARPABET标签转换为小写并去除重音，塞音闭塞段与其后的爆破合并（例如\[pcl\]\[p\]→\[p\]），声门塞音和静音被丢弃。对于Common Voice，我们使用Montreal强制对齐器（MFA）\[29 (https://arxiv.org/html/2609.12122#bib.bib34)\]进行自动对齐。词汇表外的词使用Epitran\[30 (https://arxiv.org/html/2609.12122#bib.bib33)\]的字素到音素（G2P）模型进行转录111Epitran的语言代码：英语（eng-Latn），西班牙语（spa-Latn-eu），德语（deu-Latn-np）和捷克语（ces-Latn）。，并在强制对齐前添加到发音词典中。所有音频均以16kHz处理。

#### IV-B2 静音遮蔽

对于每个孤立词，通过用静音替换其强制对齐区间来遮蔽每个辅音。为抑制因协同发音导致的来自相邻音素的声学泄漏，静音窗口向两侧各延长了相邻音素时长的25%。对于词首和词末音素，窗口仅在一侧延长，并裁剪到词边界。

#### IV-B3 ASR转录

我们使用三种多语言ASR模型，涵盖了当前语音识别中的主要架构家族：仅编码器（MMS）、编码器-解码器（Whisper）和基于LLM的（Qwen3-ASR），均支持分析的四种语言。所有实验均在单块NVIDIA Quadro RTX 8000上运行，批处理大小为32。

图2：音素频率（freq）和功能负荷量（FL）在所有四种语言中均呈正相关（双对数轴）。

MMS\[31 (https://arxiv.org/html/2609.12122#bib.bib3)\]是一个仅编码器模型，在约500K小时的1400多种语言语音数据上进行自监督学习，然后针对ASR进行微调...