并非所有语音都是意图：用于ASR后误唤醒的自适应自校正推理层

# 并非所有语音都是意图：针对ASR后误唤醒的自适应自纠正推理层
来源：https://arxiv.org/html/2609.12469
## 并非所有语音都是意图：针对ASR后误唤醒的自适应自纠正推理层感谢：\*同等贡献†通讯作者。

Divya Neelagiri\*Anil Yadav\*所属机构：三星美国研究院，加利福尼亚州山景城，美国所属机构：\{p.saraswat, d.neelagiri, Anil.y1\}@samsung.com

###### 摘要

误唤醒激活仍然是对话式人工智能中一个持续存在的挑战。语音发音与设备唤醒词相似的语句可能产生语法正确且语义连贯的ASR转录文本，从而导致助手错误执行。大多数现有系统独立进行单一的意图决策，缺乏从重复错误中学习或通过个性化学习适应个人用户的机制。我们引入了**反馈驱动的自适应自纠正推理层**，这是一个互补的ASR后纠正框架，通过融合声学嵌入、语言线索、设备上下文以及过去的误分类模式，在响应生成前重新评估唤醒意图。ASCIL解释隐含信号（包括犹豫、脱离和沉默）和显式信号（包括取消和重复），将其作为自动推断的潜在误分类行为噪声指标。这些信号驱动在线模式更新，无需手动标注，而用于离线评估的有意/无意参考标签则由人工标注。它从先前的错误中泛化，在推理时应用纠正调整，并在自然语言执行的同时持续更新。在包含3667次交互、由人工标注的有意/无意参考标签、涵盖14种声学和上下文条件的专有数据集上进行评估，ASCIL在从基线失败案例构建的会话不相交子集上实现了**54.27%的相对错误率降低**，在问题标记的评估切片上，在阈值0.90时最高可达**24.39%的相对错误率降低**。这些改进是在提高有意接受率的同时实现的，在报告的基准测试中，中位添加延迟低于60毫秒。

关键词：误唤醒检测、误触发缓解、设备定向语音检测、ASR后意图分类、用户反馈学习、持续学习、设备端个性化

## 1 引言

考虑一个用户正在看电视，而对话中包含一句发音与设备唤醒词相似的语句。ASR（自动语音识别）系统将其清晰地转录为完整有效的文本。转录文本中没有任何迹象表明该激活是无意的。助手进行了响应。用户忽略它，或者说“停止”。第二天同样的事情再次发生。情况没有任何改变。

这一场景揭示了已部署对话式人工智能中的一个结构性缺口。虽然先前的工作已经解决了同轮设备定向分类等方法，但一个从用户对唤醒事件处理后的反应中学习的**闭环反馈机制**在很大程度上仍未被解决。一旦唤醒事件产生有效转录，执行就会发生。没有机制去询问激活是否真正是有意的，也没有机制去记住这种模式之前导致过错误。两个相互叠加的问题使情况更加恶化。

首先，**静态分类器**：生产系统在人口层面数据上集中训练，无法适应个人用户。一个带有地方口音、做饭时开着电视的用户，其经历的系统性错误分布与在嘈杂环境中工作的用户不同，而现有系统没有为任一模式提供单独纠正的机制。

其次，**无ASR后反馈循环**：用户对误激活的反应（如取消、重复、脱离）并未参与到当前系统的改进或学习中。这些信号是系统可以学习的噪声行为监督来源。用户可能在潜在误分类的交互后提供隐含或显式的行为信号，系统可以将该信号用作未来模式更新的噪声监督。

我们引入了一个**反馈驱动的ASCIL**来解决这两个问题。该系统在唤醒后和ASR后运行，融合多模态特征以在响应生成前重新验证唤醒意图。当自动推断的反馈信号表明可能存在误分类时，系统会提取一个泛化模式，捕获该错误的声学、语言和上下文条件，将其紧凑地存储在设备端，并在未来推理时应用以主动抑制类似的误分类。基础的ASR和NLU（自然语言理解）模型未被修改或重新训练。我们的贡献包括：

- •一个**ASR后反馈循环**，与现有ASR前和同轮设备定向分类器互补：此类分类器可以作为我们管道中的初始调用，而我们的反馈循环会随时间改善其输入条件。
- •一个**反馈衍生的监督机制**，将隐含信号（犹豫、脱离、沉默）和显式信号（取消、重复）解释为自动推断的、潜在误分类的噪声指标。这些信号支持在线模式更新，无需额外的人工标注，并且与用于离线评估的人工标注参考标签不同。
- •一个**ASCIL**，它从先前的反馈衍生的错误假设中提取泛化模式，在推理时应用它们，并在NL执行的同时持续更新，在报告的基准测试中，中位纠正路径添加延迟低于60毫秒。
- •在真实世界的专有数据集上的实证结果表明，在保留的失败案例上实现了**54.27%的相对错误率降低**，在操作阈值下，问题标记的评估切片上最高可达**24.39%**。

## 2 相关工作

许多先前的工作强调唤醒词检测、误触发缓解或同轮设备定向分类，而对后续用户反应驱动的反馈后决策适应关注相对较少。Schönherr等人（2020年）（https://arxiv.org/html/2609.12469#bib.bib1）系统地描述了智能音箱中的意外触发。Chen等人（2021年）（https://arxiv.org/html/2609.12469#bib.bib2）研究了FakeWake现象，生成能欺骗唤醒词检测器的模糊词并提出检测器级别的补救措施。Wu等人（2018年）（https://arxiv.org/html/2609.12469#bib.bib9）提出了基于单音素的背景建模，用于两阶段设备端检测。Agarwal等人（2020年）（https://arxiv.org/html/2609.12469#bib.bib8）探索了互补语言建模以减少解码过程中的误触发，Rudovic等人（2023年）（https://arxiv.org/html/2609.12469#bib.bib13）在多任务架构中统一了多种调用类型。Lin等人（2025年）（https://arxiv.org/html/2609.12469#bib.bib12）通过个性化的VAD模型解决了领域不匹配问题。Baljekar等人（2014年）（https://arxiv.org/html/2609.12469#bib.bib10）和Chaudhary与Abrol（2023年）（https://arxiv.org/html/2609.12469#bib.bib11）解决了设备端关键词检测效率问题。

ASR的个性化探索包括McGraw等人（2016年）（https://arxiv.org/html/2609.12469#bib.bib4）使用量化的LSTM声学模型，以及SpecAugment（Park等人，2019年）（https://arxiv.org/html/2609.12469#bib.bib3）提供了用于训练的鲁棒增强。Su等人（2016年）（https://arxiv.org/html/2609.12469#bib.bib5）展示了对话策略的在线奖励学习；Liu与Mazumder（2021年）（https://arxiv.org/html/2609.12469#bib.bib6）综述了对话系统中的持续学习。

一个密切相关的工业披露是Kanungo等人（2026年）（https://arxiv.org/html/2609.12469#bib.bib7），它描述了使用文本、声学和上下文证据以及自适应决策阈值进行ASR后误唤醒抑制。我们的工作与之不同之处在于，ASCIL专注于将交互后行为反馈作为噪声监督，并存储泛化的用户特定错误模式用于未来推理，而无需重新训练基础ASR或NLU模型。其他最接近的研究工作是Mallidi等人（2018年）（https://arxiv.org/html/2609.12469#bib.bib14），它解决了ASR后设备定向分类问题，利用转录后立即可用的信号来确定话语是否针对设备。他们的方法和ASCIL是互补的。同轮设备定向分类器可以提供初始决策，而ASCIL使用后续用户行为来细化未来的决策。

据我们所知，先前的误唤醒和设备定向系统尚未报道一种机制，能够将自动推断的交互后反馈转换为持久的、泛化的、设备端的纠正模式，而无需重新训练基础模型。ASCIL在三个方面有所不同：它从唤醒执行或抑制后的用户反应中学习，维护重复误分类模式的用户特定记忆，并在推理时应用这些模式而不更新基础ASR或NLU参数。

## 3 系统

### 3.1 概述

图1（https://arxiv.org/html/2609.12469#S3.F1）展示了该管道。在每个交互步骤t，系统接收一个多模态特征向量X_t∈R^d，整合四类信号：声学描述符（音高、信噪比、语速、谐波噪声比、打断事件、逆文本归一化前的ASR文本）、来自ASR和NLU的语言线索（词和句子嵌入、词性分布、命名实体存在、句法完整性、主题相关性）、时间和设备上下文（会话历史、前台应用、唤醒模式、设备运动），以及来自先前误分类的自适应模式。一个基础分类器将X_t映射到二元意图预测Ŷ_t∈{0,1}，其中1表示无意激活。令Y_t表示人工标注的有意/无意参考标签（仅用于离线评估），令F_t表示自动推断的行为反馈信号（仅用于在线模式更新）。然后ASCIL细化预测：

Ŷ'_t = C(X_t, P_u^{(t)})

其中P_u^{(t)}是在时间t的设备端用户特定模式记忆，C是纠正函数。

参见图例 图1：自适应纠正管道。ASR后多模态特征馈入基础ASR后唤醒意图分类器。用户反馈信号触发模式提取。存储的模式作为上下文注入到未来的推理中，在不修改基础ASR或NLU模型的情况下主动纠正误分类。

### 3.2 ASR后意图分类

基础分类器以两种模式运行。对于标准激活，它根据X_t预测有意或无意。当输入包含用户反馈信号（如用户取消、重复命令或在意外响应后持续沉默）时，分类器不产生意图决策。相反，它从先前回合的特征向量中识别误分类类型：

- •**假阴性**（无意激活被执行）：用户犹豫、脱离、取消，或在后续交互中忽略系统响应。
- •**假阳性**（有意激活被抑制）：用户重复命令、重新表述或明确纠正。

此反馈识别步骤是关键的架构区别。系统不是丢弃用户反应，而是将其视为带有两种错误类型的结构化监督：E_t∈{FP, FN}。

我们区分两种标注过程。用于离线评估（§4（https://arxiv.org/html/2609.12469#S4））的有意/无意激活标签和14种声学与上下文条件标签是人工标注的；它们为CAR、UICR、FIR、FAR和P_error提供了参考基准真相。用于自适应模式归纳的反馈信号不是手动标注的；相反，它们是从多轮生产日志中用户的下一轮行为自动提取的，例如在短时间窗口内相同的或转述的重新调用（假阳性信号），或取消、脱离或明确拒绝（如“停止”或“我没叫你”）（假阴性信号）。由于这些行为信号可能具有歧义，我们将它们视为噪声监督行为标签，而非明确的基准真相标签。

### 3.3 ASCIL

当自动推断的反馈信号表明可能存在误分类时，系统从先前回合的特征向量X_t中提取一个泛化模式，并将其存储在以误分类类型为键的结构化模式中。对于**被抑制的有意**错误（假阳性），模式记录背景噪声类型、词数、语音能量和语速（词/分钟）。对于**未捕获的无意**错误（假阴性），模式还捕获preITN文本类别（例如，简单请求与命令）和asr转录清晰度，这表示Voxtral Mini 3B对音频的转录与基础ASR转录之间的跨模型转录一致性信号。一致表示可靠转录的话语，而不一致则表明基础ASR可能舍入到发音上更接近的有效短语，这是常见的假阴性条件。每个模式包括一个可读描述，在推理时作为上下文注入给LLM。模式记忆更新如下：

P_u^{(t)} = Update(P_u^{(t-1)}, X_t, Ŷ_t, F_t)

其中Ŷ_t是模型对当前激活的预测，F_t是在交互后观察到的自动推断的行为反馈信号。反馈信号与先前的预测共同确定了用作模式键的反馈衍生错误假设。人工标注的参考标签Y_t仅用于离线评估，在线模式更新过程无法访问。模型合并重叠条件并丢弃罕见异常，以防止无限增长，最小化累积误分类损失。不保留原始音频或逐字转录；仅存储用于模式匹配和提示构建的抽象特征签名。

### 3.4 部署

纠正层与标准NLU处理并行运行。如果激活被分类为无意，NLU输出将被静默抑制；用户不会体验到延迟。所有模式存储和更新均在设备端进行，无数据传输。在部署时，在线模式更新过程无需额外的手动标注、无需离线重新训练，也无需修改基础ASR或NLU模型，使其成为任何语音助手栈的即插即用层。本研究中的离线评估使用人工标注的参考标签和条件标签，但部署的反馈更新机制不访问这些标签。在我们的基准测试中，纠正层在目标硬件上添加的中位延迟低于60毫秒，无用户可感知的延迟。

## 4 实验

### 4.1 数据集

我们在一个专有数据集上进行评估，该数据集包含来自商业语音助手的3667次交互，具有人工标注的有意/无意参考标签。