商业ASR系统在代码切换语音上的基准测试：阿拉伯语、波斯语和德语
摘要
本文提出了一个基准测试，评估了五个商业ASR系统在阿拉伯语-英语、波斯语-英语和德语-英语代码切换语音上的性能，使用两阶段管道为每个语言对选择300个样本，并通过WER和BERTScore评估性能。ElevenLabs Scribe v2在整体上取得了最低的WER（13.2%）和最高的BERTScore（0.936），并提供公开数据集。
查看缓存全文
缓存时间: 2026/05/20 08:23
# 商业ASR系统在代码切换语音上的基准评测：阿拉伯语、波斯语和德语 来源：https://arxiv.org/abs/2605.19069 查看PDF (https://arxiv.org/pdf/2605.19069) > 摘要：代码切换——即在单次话语中自然交替使用两种语言——是自动语音识别（ASR）中最具挑战性且研究最不充分的场景之一。现有的商业ASR基准测试主要评估纯净的单语音频，并报告单一的词错误率（WER）指标，这无法让从业者了解实际的多语言性能。我们提出了一项基准测试，评估五家商业ASR提供商在四种语言对上的表现：埃及阿拉伯语-英语、沙特阿拉伯语（纳季迪/希贾兹）-英语、波斯语（法尔西）-英语以及德语-英语。每个数据集包含300个样本，通过两阶段管道筛选：先使用启发式过滤器对转录本的五种结构型代码切换信号进行评分，再由GPT-4o和Gemini 1.5 Pro集成模型在六个语言维度上对候选样本进行评分。相比全面评分，该管道将LLM评分成本降低了约91%。我们使用WER和BERTScore两个指标评估系统，并论证对于阿拉伯语和波斯语言对，由于音译变体导致WER惩罚语义正确的转录，BERTScore是更可靠的指标。ElevenLabs Scribe v2在所有四种语言对上实现了最低的WER（总体13.2%；埃及阿拉伯语13.1%），并在BERTScore上领先（总体0.936）。我们进一步证明，基于难度的分层分析揭示了被总体平均值掩盖的性能差距，并且BERT嵌入投影证实了参考文本与假设之间在表面书写差异下的语义接近性。基准数据集公开于以下链接：this https URL (https://huggingface.co/datasets/Perle-ai/ASR_Code_Switch)。 ## 提交历史 来自：Sajjad Abdoli [查看电子邮件 (https://arxiv.org/show-email/5ada2abb/2605.19069)] **[v1]** 2026年5月18日星期一 19:50:44 UTC (748 KB)
相似文章
语音助手能处理双语客户吗？前沿ASR在代码切换语音上的基准测试
ServiceNow AI 发布了一个基准测试和数据集，用于评估自动语音识别（ASR）在跨四种语言对（西班牙语-英语、法语-英语、加拿大法语-英语、德语-英语）的企业HR和IT场景中的代码切换语音上的表现，发现当前前沿ASR模型在代码切换方面仍存在困难，导致错误率较高。
多样化语音的人类与自动语音识别基准测试：初步结果
本文比较了最先进的ASR系统与人类听者在识别多样化荷兰语语音方面的表现，发现ASR系统在某些情况下与人类表现相当甚至更优，其中Google Telephony表现最佳。文章强调了说话者年龄、地方口音及测试集选择对基准测试结论的影响。
语码转换信息检索：基准、分析与现有检索器的局限
研究者发布 CSR-L 与 CS-MTEB 基准，发现语码转换查询使 IR 系统性能下降高达 27%，并揭示嵌入空间 divergence 是当前多语言技术无法修复的根本原因。
转录儿童语音：ASR性能与获取可靠的正字法转写
这篇论文评估了九种ASR模型（Whisper、Parakeet、Wav2Vec2）在荷兰语儿童语音数据集JASMIN和DART上的表现，发现微调后的Whisper-medium取得了最佳性能（在JASMIN上WER为5.54%，在DART上为70.37%）。它还提出了一种选择方法，能够以高精度自动识别发音正确的录音片段，从而减少人工验证的需求。
什么算错误？面向非典型ASR的双参考基准测试方法
本文提出了一种面向非典型ASR的双参考基准测试方法，同时使用逐字转录和意图转录对11个ASR模型在口吃语音上进行评估，强调了根据用例选择合适参考转录的重要性。