当通话者在句子中间切换语言时，我们的 ASR 直接变成垃圾

Reddit r/AI_Agents 新闻
speech-recognition asr code-switching language-detection multilingual production-systems audio-processing

摘要

一位从业者分享了他们的 ASR 流水线在语码转换（code-switching）通话上如何失效：语言检测只在开头运行一次，导致英语-印地语混合语句中的印地语部分被搅得面目全非；现在他们改为持续检测，并将不稳定的片段送入人工审核队列，暴露出基准测试数字与真实通话行为之间的巨大差距。

运维负责人把一份转写发给我，我注意到我们的客户开头用英语，结尾用印地语，而下半句出来的是一些发音听上去有点像、但意思完全不同的英语单词。我们之前只测试过每个说话人全程使用同一种语言的录音——因为买来的数据就是这样组织的，我们也就照此向业务部门报了数。流水线会在开头一两秒内选定一种语言，并在整通通话中一直锁定，大多数系统都是这么做的。但我们的用户会先用英语开场，因为他们以为机器想听英语；等到真正要说重点时——比如金额、日期，或者他们真正在抱怨的事情——就切换成了印地语。于是每句话里真正有用的那一半全被搅坏了，而我们却毫不知情。现在我们把语言检测改为持续运行，而不是只在开头跑一次；任何在几秒内检测结果翻转两次以上的片段，都不再写入 CRM，而是送入人工审核队列。不过纸面上的准确率反而变差了，那真是一场有趣的对话，因为旧的数字早就已经传到公司外面了。数据团队说旧数字诚实地反映了他们测量的内容，运维则说那些数字描述的只是一个主要存在于测试集里的通话者——说实话双方都有道理，这正是它比普通 bug 更难对付的原因。有没有其他人是在每个分段上都跑语言检测？
查看原文

相似文章

语音助手能处理双语客户吗？前沿ASR在代码切换语音上的基准测试

Hugging Face Blog

ServiceNow AI 发布了一个基准测试和数据集，用于评估自动语音识别（ASR）在跨四种语言对（西班牙语-英语、法语-英语、加拿大法语-英语、德语-英语）的企业HR和IT场景中的代码切换语音上的表现，发现当前前沿ASR模型在代码切换方面仍存在困难，导致错误率较高。

商业ASR系统在代码切换语音上的基准测试：阿拉伯语、波斯语和德语

arXiv cs.CL

本文提出了一个基准测试，评估了五个商业ASR系统在阿拉伯语-英语、波斯语-英语和德语-英语代码切换语音上的性能，使用两阶段管道为每个语言对选择300个样本，并通过WER和BERTScore评估性能。ElevenLabs Scribe v2在整体上取得了最低的WER（13.2%）和最高的BERTScore（0.936），并提供公开数据集。