基于图的噪声ASR音素错误纠正
摘要
提出G-SPIN,一个轻量级框架,结合音素图建模与上下文语言理解来纠正ASR错误。使用GNN生成音素合理的候选词元,MLM进行局部评分,LLM进行最终重新排序,所有操作均在推理时进行。
arXiv:2606.24889v1 公告类型:新论文
摘要:自动语音识别系统尽管整体词错误率较低,但仍会产生残余词汇错误,这些错误对命名实体、否定词和情感词等语义关键标记的影响尤为不成比例。这些错误往往是结构化的,源于音素相似性而非随机噪声,因此简单的标记级纠正不够充分。我们提出了一种结构化的ASR纠正框架,称为G-SPIN,该框架将音素图建模与上下文语言理解相结合。首先,图神经网络为标记出的标记构建声学合理的候选邻域,明确地将纠正搜索空间限制在音素替代项上。然后,掩码语言模型提供局部上下文评分,指令微调的大语言模型对这个紧凑的候选集进行最终的上下文感知重新排序。通过将结构化音素推理与上下文语义选择解耦,我们的方法避免了无约束生成,同时提高了纠正准确性。该框架轻量级、模块化,并且完全在推理时运行。
查看缓存全文
缓存时间: 2026/06/25 05:08
# 基于图的噪声ASR语音错误纠正
来源:https://arxiv.org/html/2606.24889
Pankaj Wasnik 索尼研究印度 \{pratik\.singh, mohammadi\.zaki, aneesh\.mukkamala, pankaj\.wasnik\}@sony\.com
###### 摘要
自动语音识别(ASR)系统尽管整体词错误率较低,但仍会产生残留的词汇错误,这些错误不成比例地影响语义关键性标记,如命名实体、否定词和情感承载词。这些错误往往是结构化的,源自语音相似性而非随机噪声,使得简单的标记级别纠正不足。我们提出了一种结构化的ASR纠正框架,称为G-SPIN,它将语音图建模与上下文语言理解相结合。图神经网络(GNN)首先为标记的标记构建声学上合理的候选邻域,明确将纠正搜索空间限制为语音替代项。掩码语言模型(MLM)随后提供局部上下文评分,指令调优的大型语言模型(LLM)在该紧凑候选集上执行最终上下文感知重排序。通过将结构化语音推理与上下文语义选择解耦,我们的方法避免了无约束生成,同时提高了纠正准确性。该框架轻量、模块化,并且完全在推理时运行。
基于图的噪声ASR语音错误纠正
Pratik Rakesh Singh, Mohammadi Zaki, Aneesh Mukkamala 和 Pankaj Wasnik
索尼研究印度
\{pratik\.singh, mohammadi\.zaki, aneesh\.mukkamala, pankaj\.wasnik\}@sony\.com
## 1 引言
自动语音识别(ASR)系统充当了口语与基于文本的处理之间的基础接口。尽管取得了显著进展且整体词错误率较低,但在自发性、对话性和声学挑战性环境下,残留的转录错误仍然不可避免szymański2020werwerthink。重要的是,这些错误并非均匀分布于所有标记,也不是纯粹随机的Lenget al. (2023) (https://arxiv.org/html/2606.24889#bib.bib19)。相反,ASR错误表现出结构化模式,通常由语音相似性、声学模糊性和上下文依赖性所支配。
ASR纠正的一个核心挑战在于这些扰动的本质。许多错误源于系统性的音素级别混淆——同音词、近同音词、边界位移,或由声学相似性驱动的插入和删除Wanget al. (2024) (https://arxiv.org/html/2606.24889#bib.bib13); Nemotoet al. (2008) (https://arxiv.org/html/2606.24889#bib.bib14)。因此,有效的纠正不能仅依赖通用的上下文重写。幼稚的标记级别编辑要么无法修复声学上合理的混淆,要么引入上下文流畅但音位上不合理的虚假替换。Bouselmiet al. (2006) (https://arxiv.org/html/2606.24889#bib.bib28); Chenet al. (2021) (https://arxiv.org/html/2606.24889#bib.bib12)
最近的方法利用LLM在提示驱动设置中直接重写噪声转录。尽管灵活,但此类方法将纠正视为无约束生成。结果,它们可能产生幻觉,创建新内容,过度纠正良性变体,或在相似上下文中表现不稳定Lyuet al. (2025) (https://arxiv.org/html/2606.24889#bib.bib16); Maet al. (2025) (https://arxiv.org/html/2606.24889#bib.bib17)。这些行为反映了对隐式上下文推理的依赖,而非对ASR噪声结构的显式建模。最近的工作也探索了使用LLM的多阶段ASR错误纠正,无需显式结构建模。例如,Fanget al. (2025a) (https://arxiv.org/html/2606.24889#bib.bib20)提出的可靠LLM纠正框架(RLLM-CF)将ASR纠正分解为三个LLM驱动阶段——错误预检测、迭代思维链子任务纠正和推理验证——以减少幻觉并提高纠正准确性。尽管该方法在字符和词错误率上显示出有希望的降低,但它完全依赖基于提示的推理和迭代LLM调用来识别和重写,而没有对语音模糊性进行显式建模或结构化候选生成。相比之下,我们的框架使用语音图约束纠正搜索空间,并集成上下文评分模型,从而减少对无约束LLM生成的依赖,并在不同上下文中提高纠正一致性。
另一方向是将结构化归纳偏差纳入纠正过程。由于许多ASR错误源于语音模糊性,在应用上下文推理之前,候选纠正应限于声学上合理的替代项。这提出了一个两级纠正范式:首先使用语音结构约束词汇搜索空间,然后应用上下文模型选择最连贯的替代项。
在本工作中,我们提出了一种结构化ASR纠正框架,明确将语音推理与上下文选择分离。我们构建一个音素级图,并训练图神经网络(GNN)来建模声学相似词汇候选之间的关系。对于每个标记的标记,GNN定义一个紧凑、结构化的候选邻域。掩码语言模型(MLM)提供局部上下文评分,指令调优的LLM严格在此约束集内执行最终上下文感知重排序。通过在语义推理之前缩小纠正搜索空间,我们的方法避免了无约束重写,同时保持灵活性和上下文敏感性。
我们的框架轻量、模块化,主要在推理时运行。虽然G-SPIN在部署时不需要任何重新训练或微调,但它包括一个一次性的离线预训练步骤,用于GNN组件,该组件捕获给定语言固定词汇内的语音关系。此预训练与数据无关,无需跨数据集或领域重复。一旦训练完成,GNN无需修改即可重用,整个纠正流水线以仅推理方式运行。与需要重复微调以适应领域的传统方法相比,我们的方法避免了任何任务或数据集特定的重新训练。
实证结果表明,结构化语音约束与上下文重排序相结合,在纠正准确性上显著优于基于提示的重写和纯上下文基线。这些发现强调了将语音结构整合到现代ASR纠正系统中的重要性。我们的贡献可总结如下:
- •我们提出了一个原则性的ASR纠正框架,结合了语音结构和上下文理解。音素级GNN构建声学上合理的候选邻域,MLM评分与指令调优LLM重排序严格在此集内选择纠正,避免了无约束重写和幻觉。
- •我们的方法完全在推理时运行,无需重新训练ASR系统或LLM,使其易于部署且主干无关。
- •在英语、泰卢固语、西班牙语和印地语上的广泛实验表明,在多样化的语言设置中,与强LLM基线相比,我们的ASR纠正方法取得了持续改进。
## 2 问题设置与动机
##### 问题设置。
令 \(x \in \mathcal{X}\) 表示预期的(干净)句子,\(\tilde{x} = x + \delta\) 为其噪声ASR实现,其中 \(\delta\) 表示由语音混淆以及插入、删除和边界位移引起的词汇扰动。在本工作中,我们主要关注纠正*语音混淆*,这是ASR错误的主导类别,通过利用语音相似性结构。具体来说,我们假设 \(\tilde{x}\) 中的错误标记可以映射到一组在一个语音邻域上定义的声学合理替代项。
ASR纠正任务旨在从 \(\tilde{x}\) 中恢复一个纠正后的句子 \(\hat{x}\),使得 \(\hat{x}\) 既 (i) 在产生 \(\tilde{x}\) 的声学证据下音位上合理——通过语音相似性图上的约束来操作化——又 (ii) 在句子级别上下文连贯。形式上,我们旨在设计一个纠正算子 \(C: \mathcal{X} \rightarrow \mathcal{X}\),将噪声转录映射为精炼的文本实现:\(\hat{x} = C(\tilde{x})\),目标是 \(\hat{x}\) 近似于潜在的干净句子 \(x\)。
##### 动机。
自动语音识别(ASR)系统在整体词错误率上取得了令人印象深刻的降低。然而,在自发性、对话性和声学挑战性环境中,残留的转录错误仍然不可避免。重要的是,这些错误并非均匀分布于所有标记。影响语义显著词——如命名实体、否定词或情感承载词——的扰动可能显著改变句子的含义,即使整体错误率看起来较低。
令 \(x\) 为预期的源句子,\(\tilde{x} = x + \delta\) 为其ASR实现。扰动 \(\delta\) 很少是任意的噪声。相反,ASR错误通常源于结构化的语音混淆,包括声学相似词之间的替换、插入、删除或边界位移。结果,许多错误标记在局部看似合理,但在句子级别上下文中全局不一致。
仅依赖上下文重写的幼稚纠正策略将ASR修复视为无约束生成。尽管此类方法可能提高流畅性,但它们有产生幻觉、过度纠正良性变体或在不同上下文中引入不一致风险。相反,纯粹基于字符串或编辑距离的启发式方法无法捕获长距离语义依赖,可能低估有影响力的错误。
因此,有效的ASR纠正需要整合两种互补的归纳偏差:(i) 语音结构,将候选替换限制为声学上合理的替代项;以及 (ii) 上下文语言理解,在该约束集中选择最连贯的选项。挑战在于设计一个轻量级的推理时机制,结合这些信号,而不依赖无约束重写或昂贵的重新训练。
重要的是,将解码限制在结构化语音空间的需要不仅是经验上驱动的,而且具有理论基础。如附录A.1 (https://arxiv.org/html/2606.24889#A1.SS1) (引理1 (https://arxiv.org/html/2606.24889#Thmlemma1)) 所示,语音空间限制会导致输入扰动范数的收缩,从而提高冻结LLM在ASR噪声下的局部稳定性。这一正式结果为在下游生成之前进行结构化纠正提供了原则性理由。
这些考虑因素促使了一个结构化纠正框架,该框架显式建模语音邻域,同时利用上下文评分进行最终选择,从而平衡声学合理性与语义连贯性。
## 3 方法论
这里我们讨论我们的方法论:基于图的结构化语音推断(G-SPIN)。G-SPIN将ASR输入纠正分为三个步骤:1) 错误输入识别,2) 正确输入检索,3) 输入纠正。这三步过程确保识别噪声ASR输入,并将其替换为最符合上下文的最佳替代项。
##### 步骤1:错误输入识别:
自动语音识别(ASR)系统通常产生噪声输出,其中声学上易混淆或词汇外的词被不正确的词汇形式替换。为了在没有参考转录的情况下识别此类错误词,我们提出了一种基于掩码语言模型(MLM)的上下文异常检测(CAD)方法。
给定一个嵌入其局部对话语境 \(C\) 中的句子 \(S = (w_1, \dots, w_n)\),我们通过掩盖其组成标记并测量模型重建它们的置信度来近似每个词的伪对数似然(PLL)。令一个词 \(w_i\) 由标记 \(\{t_{i1}, \dots, t_{im}\}\) 组成。对于每个标记 \(t_{ij}\),我们计算:\(P(t_{ij} \mid S_{\setminus t_{ij}}, C)\),其中 \(S_{\setminus t_{ij}}\) 表示输入序列,其中标记 \(t_{ij}\) 被 [MASK] 符号替换。词级别的对数概率则定义为平均标记对数概率:
\[\log P(w_i \mid C) = \frac{1}{m} \sum_{j=1}^{m} \log P(t_{ij} \mid S_{\setminus t_{ij}}, C)\]
相应的词概率为:
\[P(w_i \mid C) = \exp\left(\log P(w_i \mid C)\right).\]
此外,我们计算一个最小标记置信度分数:
\[P_{\min}(w_i) = \min_{j} P(t_{ij} \mid S_{\setminus t_{ij}}, C),\]
该分数捕获词子词标记中最弱的重建置信度。为了检测异常词,我们首先过滤掉词概率低于预定义阈值 \(\tau\) 的候选:
\[P(w_i \mid C) < \tau. \quad (1)\]
对于剩余的候选,我们计算组合异常分数:
\[\mathcal{A}(w_i) = \log P(w_i \mid C) + \alpha \log\left(P_{\min}(w_i)\right),\]
其中 \(\alpha\) 控制最小标记置信度的贡献。词按 \(\mathcal{A}(w_i)\) 升序排列,得分最低的前 \(f\)(在我们的情况下为5)个词被标记为潜在的ASR错误。在我们的实验中,我们使用 \(\alpha=0.5, \tau=10^{-2}\),这些值通过实验确定。
此公式能够在无需监督的情况下实现上下文感知的不可信词汇实现检测,使其适用于现实对话设置中ASR输出的大规模后处理。
##### 步骤2:正确输入检索。
先前的研究观察到,自动语音识别(ASR)经常替换语音相似但语义无关的标记Ruanet al. (2020) (https://arxiv.org/html/2606.24889#bib.bib29); Huang and Chen (2020) (https://arxiv.org/html/2606.24889#bib.bib10)。为了利用这一结构,我们将语言模型词汇表转换为音素级图形空间,并通过基于图的相似性检索候选正确输入。
正式地,令 \(\mathcal{V}\) 表示(LLM)词汇表,\(\phi: \mathcal{V} \to \mathcal{P}^{+}\) 为一个音素化器,将每个词汇项映射到一个音素序列。我们创建一个音素节点集:
\[\mathcal{N} = \big\{ p \mid p \in \phi(v), v \in \mathcal{V} \big\},\]
并通过嵌入函数 \(e: \mathcal{P}^{+} \to \mathbb{R}^{d}\)(例如,平均子词/音素编码器输出)获得固定长度的音素嵌入。然后我们构建一个无向图 \(G = (\mathcal{N}, \mathcal{E})\),其中:
\[(p_i, p_j) \in \mathcal{E} \quad \text{iff} \quad \mathrm{cosine}\big(e(p_i), e(p_j)\big) \geq \eta,\]
对于相似性阈值 \(\eta\)(在我们的情况下为0.9)。节点属性可能包括音素嵌入 \(e(p)\),从而允许从语音信号进行下游消歧。
##### GNN训练。
我们训练一个GNN \(f_{\theta}\) 用于链接预测任务。相似文章
JSPG:基于语义-拼音-字形联合检索的中文上下文ASR动态字典过滤
本文提出JSPG,一种动态字典过滤框架,联合利用语义、拼音和字形特征提升中文上下文ASR的关键词检索准确率,解决同音错误导致语义检索性能下降的问题。
倾听潜在状态:大型音频语言模型中通过隐藏状态交互的自我纠正语音识别
本文介绍了Hybrid Search,一种通过利用ASR-LLM和基础LLM之间的隐藏状态交互来增强大型音频语言模型中自动语音识别的方法,用于针对性token纠正,其性能超越了全局LLM纠正策略。
面向ASR错误校正的误差感知TF-IDF检索增强生成
本文提出了一种基于误差感知TF-IDF检索增强生成的框架,用于校正自动语音识别错误,在波斯语FLEURS数据集上取得了显著的准确率提升,且推理延迟几乎为零。
迈向类人交互式语音识别:基于智能体修正与语义评估
本文介绍了 Agentic ASR,一种交互式语音识别框架,通过语义修正和基于推理的编辑,利用多轮优化来减少语义错误。同时,提出了一种新的句子级语义错误率指标以及一个用于基准测试的交互式模拟系统。
基于文本约束声学重评分的无需训练发音转录
本文提出一种无需训练的发音转录流程,通过集成词法资源和声学模型,实现低错误率和高效率,性能优于包括商用多模态LLMs在内的基线方法。