商业ASR系统在代码切换语音上的基准测试：阿拉伯语、波斯语和德语
摘要
本文提出了一个基准测试，评估了五个商业ASR系统在阿拉伯语-英语、波斯语-英语和德语-英语代码切换语音上的性能，使用两阶段管道为每个语言对选择300个样本，并通过WER和BERTScore评估性能。ElevenLabs Scribe v2在整体上取得了最低的WER（13.2%）和最高的BERTScore（0.936），并提供公开数据集。
查看缓存全文
缓存时间: 2026/05/20 08:23
# 商业ASR系统在代码切换语音上的基准评测：阿拉伯语、波斯语和德语 来源：https://arxiv.org/abs/2605.19069 查看PDF (https://arxiv.org/pdf/2605.19069) > 摘要：代码切换——即在单次话语中自然交替使用两种语言——是自动语音识别（ASR）中最具挑战性且研究最不充分的场景之一。现有的商业ASR基准测试主要评估纯净的单语音频，并报告单一的词错误率（WER）指标，这无法让从业者了解实际的多语言性能。我们提出了一项基准测试，评估五家商业ASR提供商在四种语言对上的表现：埃及阿拉伯语-英语、沙特阿拉伯语（纳季迪/希贾兹）-英语、波斯语（法尔西）-英语以及德语-英语。每个数据集包含300个样本，通过两阶段管道筛选：先使用启发式过滤器对转录本的五种结构型代码切换信号进行评分，再由GPT-4o和Gemini 1.5 Pro集成模型在六个语言维度上对候选样本进行评分。相比全面评分，该管道将LLM评分成本降低了约91%。我们使用WER和BERTScore两个指标评估系统，并论证对于阿拉伯语和波斯语言对，由于音译变体导致WER惩罚语义正确的转录，BERTScore是更可靠的指标。ElevenLabs Scribe v2在所有四种语言对上实现了最低的WER（总体13.2%；埃及阿拉伯语13.1%），并在BERTScore上领先（总体0.936）。我们进一步证明，基于难度的分层分析揭示了被总体平均值掩盖的性能差距，并且BERT嵌入投影证实了参考文本与假设之间在表面书写差异下的语义接近性。基准数据集公开于以下链接：this https URL (https://huggingface.co/datasets/Perle-ai/ASR_Code_Switch)。 ## 提交历史 来自：Sajjad Abdoli [查看电子邮件 (https://arxiv.org/show-email/5ada2abb/2605.19069)] **[v1]** 2026年5月18日星期一 19:50:44 UTC (748 KB)
相似文章
语音助手能处理双语客户吗？前沿ASR在代码切换语音上的基准测试
ServiceNow AI 发布了一个基准测试和数据集，用于评估自动语音识别（ASR）在跨四种语言对（西班牙语-英语、法语-英语、加拿大法语-英语、德语-英语）的企业HR和IT场景中的代码切换语音上的表现，发现当前前沿ASR模型在代码切换方面仍存在困难，导致错误率较高。
多样化语音的人类与自动语音识别基准测试：初步结果
本文比较了最先进的ASR系统与人类听者在识别多样化荷兰语语音方面的表现，发现ASR系统在某些情况下与人类表现相当甚至更优，其中Google Telephony表现最佳。文章强调了说话者年龄、地方口音及测试集选择对基准测试结论的影响。
Falcon ASR 语音识别模型发布
Technology Innovation Institute (TII) 推出 Falcon-ASR，这是一款拥有 16 亿参数的语音识别模型，专注于阿拉伯语（包括阿联酋方言），同时支持英语、法语、西班牙语和葡萄牙语。其阿拉伯语平均字错率（WER）达到 20.92%，优于已公布的最佳榜单成绩，并提供词级时间戳功能。
语码转换信息检索：基准、分析与现有检索器的局限
研究者发布 CSR-L 与 CS-MTEB 基准，发现语码转换查询使 IR 系统性能下降高达 27%，并揭示嵌入空间 divergence 是当前多语言技术无法修复的根本原因。
当通话者在句子中间切换语言时，我们的 ASR 直接变成垃圾
一位从业者分享了他们的 ASR 流水线在语码转换（code-switching）通话上如何失效：语言检测只在开头运行一次，导致英语-印地语混合语句中的印地语部分被搅得面目全非；现在他们改为持续检测，并将不稳定的片段送入人工审核队列，暴露出基准测试数字与真实通话行为之间的巨大差距。