论文页面 - 迈向类人交互式语音识别：基于智能体校正与语义评估

来源: https://huggingface.co/papers/2605.29430
作者:

,

,

,

,

,

,

,

,

,

摘要

交互式ASR框架融合了语义校正与基于推理的编辑，通过多轮精炼减少语义错误，该框架由新的句子级语义错误率指标和交互式仿真系统验证。

自动语音识别（https://huggingface.co/papers?q=Automatic%20speech%20recognition，ASR）是人机交互的核心组件，也是基于LLM的助手和智能体日益重要的前端。然而，当前大多数ASR系统仍遵循单次通过范式，这与人类通信中通过迭代澄清和精炼解决误解的方式严重脱节。这种不匹配使得一旦出现关键意义错误就很难纠正。同时，WER或CER等词元级指标无法充分反映这一问题。为解决这些局限，我们将交互式ASR定义为多轮精炼（https://huggingface.co/papers?q=multi-turn%20refinement）任务，并提出Agentic ASR这一闭环框架，它结合了单次通过ASR前端与语义校正（https://huggingface.co/papers?q=semantic%20correction）、意图路由（https://huggingface.co/papers?q=intent%20routing）以及基于推理的编辑（https://huggingface.co/papers?q=reasoning-based%20editing）。我们进一步引入句子级语义错误率（https://huggingface.co/papers?q=Sentence-level%20Semantic%20Error%20Rate，S²ER），这是一种基于LLM的语义评估指标，同时配套一个交互式仿真系统（https://huggingface.co/papers?q=Interactive%20Simulation%20System），用于可扩展且可复现的基准测试。在多语言（https://huggingface.co/papers?q=multilingual）、命名实体密集（https://huggingface.co/papers?q=named-entity-intensive）以及代码切换（https://huggingface.co/papers?q=code-switching）基准上的实验表明，迭代交互能够持续减少语义错误，且S²ER的提升幅度远大于传统词元级指标。人机对齐实验和消融研究进一步验证了语义判断器的可靠性和所提框架的鲁棒性。代码地址：https://interactiveasr.github.io/，在线演示：https://i-asr.sjtuxlance.com/

查看 arXiv 页面（https://arxiv.org/abs/2605.29430）查看 PDF（https://arxiv.org/pdf/2605.29430）项目页面（https://interactiveasr.github.io/）GitHub2（https://github.com/InteractiveASR/AgenticASR）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.29430）

在您的智能体中获取这篇论文：

hf papers read 2605.29430

没有最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型0

没有模型链接到本论文

请在模型 README.md 中引用 arxiv.org/abs/2605.29430 以从此页面链接。

引用本论文的数据集0

没有数据集链接到本论文

请在数据集 README.md 中引用 arxiv.org/abs/2605.29430 以从此页面链接。

引用本论文的 Space0

没有 Space 链接到本论文

请在 Space README.md 中引用 arxiv.org/abs/2605.29430 以从此页面链接。

包含本论文的收藏0

没有收藏包含本论文

请将本论文添加到一个收藏（https://huggingface.co/new-collection）以从此页面链接。