bertscore

这项比较研究评估了基于编码器和解码器的大语言模型在自动语音识别（ASR）评估中的应用，发现编码器指标如BERTScore和SemDist具有很强的竞争力，而生成式模型增强了假设比较和可解释性。

本文提出了一个基准测试，评估了五个商业ASR系统在阿拉伯语-英语、波斯语-英语和德语-英语代码切换语音上的性能，使用两阶段管道为每个语言对选择300个样本，并通过WER和BERTScore评估性能。ElevenLabs Scribe v2在整体上取得了最低的WER（13.2%）和最高的BERTScore（0.936），并提供公开数据集。