推荐基准。

我预期语音将成为人们与机器人及实体AI交互的主要方式之一。

这使得真实对话中的语音识别比当今显得更为重要。

真实对话的转录十分困难。人们会停顿、互相插话、中途切换语言。

机器人还需要理解人们实际使用的语言。全球南方地区超过55亿人并非英语使用者。

社区需要一种有效衡量这些前沿能力的方法。

@humynlabs 构建了 BRIDGE ASR 2.0 来精准测量这些能力。

它在真实双人对话中测试了23个语音识别模型，每段对话时长10至15分钟，涵盖18种印度语系语言以及西班牙语、葡萄牙语和越南语。

我认为最有用的指标是语码转换F1分数。

它检查混入印度语句中的英语词汇是否保持英语原形。若模型将“数据备份“转写为天城体文字，则得分为零。

您还可以按语言和指标筛选排行榜。方法论和评估数据均已公开，研究团队希望研究者测试该基准并找出其局限之处。

查看该基准：https://humynlabs.ai/bridge/ASR/2.0

BRIDGE 报告 — Humyn Labs

来源：https://humynlabs.ai/bridge/ASR/2.0

为何需要这个基准？

从说话者招募到评估流程——这些设计决策使得 BRIDGE 具有可复现、可审计且能抵御基准博弈的特性。

方法论

基准是如何构建的？

数据集基于人们真实说话方式构建，指标体系旨在精确展示模型的失败点，而非仅仅表明其是否失败。基本框架简单明了：真实的、自发的双人对话，标注七个群体维度，通过相同的三步清理进行标准化处理后再进行评分，最后对所有23个模型采用完全相同的方式运行。

6项指标评估体系

词错误率 | 字符错误率 | 语义相似度 | 语码转换F1分数 | 音素感知错误率 | 词信息损失率

（更具挑战性且更现实的数据集）

语音AI的需求已从干净的单人听写快速转向嘈杂、重叠的真实对话，该数据集正反映了这一需求的现状。每段录音都是真实的双人对话，包含真实的语音重叠与交叉对话——这正是破坏生产环境中流式ASR和说话人分离的确切失败模式——并且录制于各种日常声学环境而非单一的干净录音室。

（评分前已完成标准化与标注）

无论模型或语言如何，每项评分背后的框架都是一致的：真实的、自发的双人对话，标注七个群体维度，通过相同的三步文本清理进行标准化处理后再进行评分，最后对所有提供商采用完全相同的测试集。正是这种一致性，使得结果能够归因于特定条件、特定语言、特定噪音水平或特定说话人重叠，而非被淹没在单一的平均排名中。

（核心准确度，以及错误的实际发生点）

WER和CER作为评估体系的基础，与MER和WIL——两种即使模型出现严重幻觉也能保持稳定的有界变体——一起构成核心指标。在普通WER可能超过100%并破坏模型间比较的情况下，这两种变体依然有效。每个错误还会被分类为替换、删除或插入：高替换率意味着模型错误识别语音，高删除率意味着直接丢弃语音（通常是分段问题），而高插入率意味着凭空生成从未说过的词语。单一的WER将这三种情况压缩成一个数字，掩盖了实际发生的问题。

（文字系统公平性、语义与语码转换）

标准WER将正确识别但以当地文字书写的英语单词视为与拉丁字母参考文本相比的完整错误——lwWER和script_penalty将这种文字系统不匹配与真正的转录错误区分开来。语义相似度和莱文斯坦相似度则提出了不同的问题：即使措辞不完全相同，语义是否得以保留？字面字符串有多接近？由于印度语对话经常在母语句子中插入英语词汇，PIER、CS Recall、CS Precision和CS F1专门衡量这种语码转换是否被正确处理——或是被遗漏、被捏造。

一个模型以显著优势领先。

ElevenLabs Scribe v2以10.99%的lwWER领先，相比之下Soniox stt-async-v4为16.32%——差距达5.3个百分点，词错误率减少约三分之一。它在18种语言中的14种排名第一，比在WER指标上多赢一次。品牌名称并不保证性能。排名末尾的六种印度语模型的lwWER在70.77%到88.03%之间。

多维度分析

群体表现分析

选择一个群体维度、一个指标（WER、CER、SemSim、CS F1、lwWER、PIER或WIL）以及一个模型，查看其在不同条件下的表现变化。三个筛选器可协同工作——任何组合均有效。

通常认为快速对话更难处理。我们的数据显示更大的问题是长时间沉默。

在控制语言和模型变量后，存在超过20秒间隙的通话平均损失5.05个百分点的lwWER，而快速轮流对话仅损失1.33个百分点。这一效应在几乎所有可用模型中都有体现：chirp_3在长沉默情况下损失13.22个百分点，而快速对话仅损失6.69个百分点；Gemini 2.5 Pro损失10.87个百分点对比2.16个百分点；即使是Scribe v2也损失7.50个百分点对比0.79个百分点。控制语言变量至关重要。长时间停顿主要集中在马尔瓦里语中，而该语言本就是数据集中最难的。若不进行控制，明显的沉默惩罚会升至16.33个百分点——夸大了沉默本身的影响。可能的原因在于分段处理，而非语音识别。

多维度分析

隐性的质量差距

CS F1衡量嵌入印度语语音中的英语词汇是否被保留——未被丢弃，未被音译。若模型将“数据备份“转换为“डेटा बैकअप“，则在CS F1上得分为0。这在WER中不可见，但对下游应用是致命的。

强语码转换能力——CS F1 ≥ 0.7

这些模型能保留印度语语音中的英语词汇。两者均适用于在母语对话中出现英语术语的企业应用。

15个模型属于此类

· ElevenLabs Scribe v2、Gemini 3 Pro (预览版)、Gemini 3 Flash (预览版)

这些模型能处理部分语码转换。表现因语言和英语密度而异——部署前请在您的特定用例中验证。

7个模型属于此类

· Speechmatics Melia、Gemini 2.5 Flash、Gladia v2

零语码转换能力——CS F1 < 0.2

这些模型会系统性地音译或丢弃英语词元。不适用于混合语码的企业级印度语应用。

1个模型属于此类

· AssemblyAI Universal

“印度语模型会丢弃英语”对某些模型成立，但对其他模型则具有误导性。

两个几乎独立的指标区分了失败类型：文字系统惩罚：英语内容被保留，但以当地文字书写。saarika v2.5、saaras v3、AWS、chirp_3和Soniox显示6-8个百分点的惩罚，同时保持约90-95%的语码转换精确度。语码转换召回率：英语内容完全消失。Gemini 2.5 Flash和melia-1显示较低的召回率（约51-52%），尽管文字系统惩罚小得多。第一个问题可通过音译感知匹配恢复。第二个问题则无法恢复：没有可恢复的词元。CS F1将两者压缩为一个数字，使得可修复的文字系统错误看起来与根本性的识别失败无异。

访问数据集与基准

数据集访问与引用

ASR基准通常并非为您正在研究的语言而构建。BRIDGE正是为此而生。获取新的六指标基准访问权限以评估您的模型。

如果您在研究中使用此基准，请引用以下内容。