语音识别中的基准优化度量

来源：https://huggingface.co/blog/asr-benchmark-optimization 返回文章列表 (https://huggingface.co/blog)

• 参考差异 (VoxPopuli 案例研究) (https://huggingface.co/blog/asr-benchmark-optimization#reference-disagreement-voxpopuli-case-study)
• 掩码实体检索 (https://huggingface.co/blog/asr-benchmark-optimization#masked-entity-retrieval)
• 正字法切换 (https://huggingface.co/blog/asr-benchmark-optimization#orthographic-switching)
• 定位切换点 (https://huggingface.co/blog/asr-benchmark-optimization#localizing-the-switches)
• 结论 (https://huggingface.co/blog/asr-benchmark-optimization#conclusion)

公开的语音AI基准测试越来越多地表明模型性能已达到人类水平。然而，这些分数并不总能反映模型在现实世界中的实际工作方式。由于公开基准是开放且被广泛使用的，模型也可能针对测试本身进行优化。它们的分数可能因为学习了基准特定的模式而提升，而非因为其底层任务能力得到增强。

原因之一是传统基准忽略了众多使语音系统在实际中变得可靠、自然、符合上下文且有效的条件和特质。这就是为什么我们最近在Real World VoiceEQ (https://huggingface.co/spaces/HumeAI/rw-voice-eq)、Open-ASR 排行榜 (https://huggingface.co/blog/open-asr-leaderboard-private-data) 和 Far-field ASR 排行榜 (https://huggingface.co/spaces/treble-technologies/ffasr) 中引入了保留测试集：以度量更多在实际使用中真正重要的指标。

然而，单纯的广泛测量并不能解决问题。这种现象有时被称为基准优化或“基准刷分“，虽然常在机器学习领域被讨论，但在语音识别中一直难以量化。

我们最新的研究引入了三种测试来帮助量化此现象。我们评估了11个广泛使用的开源ASR模型，发现一些得分最高的系统复制了来自VoxPopuli (https://huggingface.co/datasets/facebook/voxpopuli) 英语和LibriSpeech (https://huggingface.co/datasets/openslr/librispeech_asr)（干净、其他）数据集的基准转录文本——即使音频内容与之矛盾、相关词汇被静音，或音频同样支持两种不同的书写形式。

在某些情况下，模型似乎不仅依赖于说话内容，还依赖于表明其正在接受哪个基准测试的细微声学线索。结果是，它们的分数夸大了其在更一般情况下转录语音的能力。

参考差异 (VoxPopuli 案例研究)

VoxPopuli 以包含大量转录错误而闻名（这也是 Artificial Analysis 发布其清理版本 (https://huggingface.co/datasets/ArtificialAnalysis/VoxPopuli-Cleaned-AA) 的原因）。我们的共识差异探测测试了当领先的ASR模型遇到这些错误时会发生什么：它们是准确转录音频内容，还是复制基准中不正确的参考转录？

为了大规模测试这一点，我们使用了一组独立模型的集合，这些模型因音素错误率低而被选中。PER 衡量书面转录与音频中发音的匹配程度，因此它是模型忠实转录其所听内容能力的有效代理。集合结果可用于标记模型一致不同意基准参考转录的情况。然后我们将这些标记案例的一个样本与人工注释进行比较，以验证更正后的转录。

例如，一段 VoxPopuli 音频剪辑中清晰地包含了“Thank you, Mr. President“这个短语，但参考转录中省略了“Thank you“。我们测试的11个模型中有6个复制了基准的错误转录——给出了“预期“答案，即使它与音频矛盾。在实际剪辑中，格式遵循相同的模式：省略“Thank you“的模型也复制了基准的标点风格，书写“Mr“时不带句号，而包含该听觉短语的模型则倾向于书写带句号的“Mr.“。

当我们使用来自欧盟议会录音或通用语音的新开采语音呈现相同内容时，这种行为常常减弱或消失。在以下样本中，除一个模型外，其余模型在面对同一说话者克隆的新议会录音时，都转回了忠实于音频的转录。这表明模型响应了帮助其识别基准归属的声学线索，从而产生预期的转录，即使它与音频矛盾。

此剪辑的参考转录为：“Mr President, I have another complaint about this procedure, which is that it is not secret.” 以下三个片段中的音频实际说的是同样的内容，前面都有一个清晰的“Thank you,“——克隆体是那个真实句子的文本转语音呈现，因此礼貌用语在所有三个片段中都可听到。绿色高亮和 ✅ 标记包含可听到的“Thank you“的转录；红色高亮和 ❌ 标记复制了基准错误省略的转录。所有转录均为原始模型输出，在任何规范化之前——大小写和标点均完全按生成状态保留，包括某些模型的小写输出。

原始 VoxPopuli 录音

同一说话者的声音克隆

每位模型训练截止期后录制的议会说话者克隆

模型实际剪辑同一说话者克隆新鲜议会克隆 CohereLabs/cohere-transcribe-03-2026 (https://huggingface.co/CohereLabs/cohere-transcribe-03-2026)❌ Mr President…❌ Mr President…✅ Thank you, Mr President… nvidia/canary-qwen-2.5b (https://huggingface.co/nvidia/canary-qwen-2.5b)❌ Mr President…❌ Mr President…✅ Thank you Mr. President… ibm-granite/granite-speech-4.1-2b (https://huggingface.co/ibm-granite/granite-speech-4.1-2b)❌ mr president…❌ mr president…✅ thank you mr president… microsoft/Phi-4-multimodal-instruct (https://huggingface.co/microsoft/Phi-4-multimodal-instruct)❌ Mr President…❌ Mr President…❌ Mr President… nvidia/parakeet-tdt-0.6b-v2 (https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2)❌ Mr President…✅ Thank you, Mr President…✅ Thank you, Mr. President… bosonai/higgs-audio-v3-8b-stt-v2 (https://huggingface.co/bosonai/higgs-audio-v3-8b-stt-v2)❌ mr president…❌ mr president…✅ thank you mr president… Qwen/Qwen3-ASR-0.6B-hf (https://huggingface.co/Qwen/Qwen3-ASR-0.6B-hf)✅ Thank you, Mr. President…✅ Thank you, Mister President…✅ Thank you, Mister President… mistralai/Voxtral-Mini-3B-2507 (https://huggingface.co/mistralai/Voxtral-Mini-3B-2507)✅ Thank you, Mr. President…✅ Thank you, Mr. President…✅ Thank you, Mr. President… moonshotai/Kimi-Audio-7B-Instruct (https://huggingface.co/moonshotai/Kimi-Audio-7B-Instruct)✅ Thank you, mr. President…✅ Thank you, Mr. President…✅ Thank you, mr. President… openai/whisper-large-v3 (https://huggingface.co/openai/whisper-large-v3)✅ Thank you, Mr. President…✅ Thank you, Mr. President…✅ Thank you, Mr. President… moonshine-ai/moonshine-streaming-medium (https://huggingface.co/moonshine-ai/moonshine-streaming-medium)✅ thank you mr president…✅ thank you mr president…✅ thank you mr president… 省略礼貌用语的次数 (❌) / 总数1165****1

Parakeet 是唯一一个在实际剪辑上复制基准但在同一说话者克隆上转录正确的模型。Phi-4 是唯一一个在新鲜议会克隆上仍省略礼貌用语的模型。当我们改用与任何议会录音无关的通用 TTS 声音重新合成该句子时，所有十一个模型都恢复了礼貌用语。

结果表明，这个问题既普遍又有意义。我们的方法在分析的40%的 VoxPopuli 测试剪辑中标记了潜在的参考错误，影响了大约3%的参考词。

表现出基准优化行为的模型有18-30%的时间复制了错误的参考转录。下面的散点图比较了 VoxPopuli 词错误率（x轴）与每个模型复制基准错误参考而非共识更正的比率。WER 最低——因此报告的基准性能最强的模型——也最有可能复制这些错误。

比较 VoxPopuli WER 与每个模型复制基准错误参考转录比率的散点图。

掩码实体检索

为了在共识差异探测的基础上更进一步，我们故意将测试数据集音频样本中的数字静音，并要求模型转录其听到的内容。该数字在音频中确实不存在，因此模型不应输出任何数字，更不用说文本中确切的数字了。

其中一些数字是半可预测的（尽管模型预测到的可能性仍然很低），但其他一些则相当令人惊讶。以下剪辑结合了这两种探测，展示了模型如何重建包含错误数字的参考转录错误，甚至一个模型尽管年份被静音，仍自动补全了一个相对随机的年份（2011）。在下面每个模型的行中：

• 绿色高亮加删除线标记模型正确未复制的参考转录词汇（忠实于音频）；
• 绿色高亮加下划线标记针对参考错误表述进行的正确、忠实于音频的插入；
• 红色高亮（纯文本）复制了参考转录中错误的、音频不支持的内容：保留 “Mr President”，在音频说 “one thousand six hundred” 的地方写 “more than 1 amendments”，提供被静音的年份 “2011”，或以 “plenary” 结尾。

2011 年预算草案（掩码数字）

参考转录Mr President, in the Committee on Budgets, we voted on more than 1 amendments to the 2011 draft budget … voted in the plenary. 音频实际内容In the Committee on Budgets, we voted on more than one thousand six hundred amendments to the ⟨silenced⟩ draft budget … voted in the … CohereLabs/cohere-transcribe-03-2026 (https://huggingface.co/CohereLabs/cohere-transcribe-03-2026)Mr President, in the Committee on Budgets we voted on more than 1 amendments to the 2011 draft budget … voted in the plenary. nvidia/canary-qwen-2.5b (https://huggingface.co/nvidia/canary-qwen-2.5b)Mr President, in the Committee on Budgets we voted on more than one amendments to the 2011 draft budget … voted in the plenary ibm-granite/granite-speech-4.1-2b (https://huggingface.co/ibm-granite/granite-speech-4.1-2b)Mr President in the committee on budgets we voted on more than one thousand six hundred amendments to the 2011 draft budget … voted on in the plenary microsoft/Phi-4-multimodal-instruct (https://huggingface.co/microsoft/Phi-4-multimodal-instruct)Mr President In the Committee on Budgets we voted on more than 1 amendments to the 2011 draft budget … voted on in the plenary. nvidia/parakeet-tdt-0.6b-v2 (https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2)Mr President In the Committee on Budgets we voted on more than one amendments to the 2011 draft budget … voted in the Protestants. bosonai/higgs-audio-v3-8b-stt-v2 (https://huggingface.co/bosonai/higgs-audio-v3-8b-stt-v2)Mr President in the committee on budgets we voted on more than one thousand six hundred amendments to the 2011 draft budget … voted in the plenary Qwen/Qwen3-ASR-0.6B-hf (https://huggingface.co/Qwen/Qwen3-ASR-0.6B-hf)Mr President In the Committee on Budgets, we voted on more than 1,600 amendments to the 2011 draft budget … voted in the plenary mistralai/Voxtral-Mini-3B-2507 (https://huggingface.co/mistralai/Voxtral-Mini-3B-2507)Mr President In the Committee on Budgets, we voted on more than 1,600 amendments to the 2011 draft budget … voted in the plenary moonshotai/Kimi-Audio-7B-Instruct (https://huggingface.co/moonshotai/Kimi-Audio-7B-Instruct)Mr President Ah in the committee on budgets we voted on more than one thousand six hundred amendments to the 2011 draft budget … voted in the plenary openai/whisper-large-v3 (https://huggingface.co/openai/whisper-large-v3)Mr President In the Committee on Budgets, we voted on more than 1,600 amendments to the 2011 draft budget … voted in the plenary moonshine-ai/moonshine-streaming-medium (https://huggingface.co/moonshine-ai/moonshine-streaming-medium)Mr President in the committee on budgets we voted on more than one thousand six hundred amendments to the 2011 draft budget … voted in the plenary

恢复率在公开基准上最高，在保留测试集或新采集的音频（下面的 ep-fresh 和 libri-fresh）上较低。在 LibriSpeech 上，一些表现最强的基准模型在大约30-40%的样本中复制了被掩码的数字，尽管该数字本身已被移除。对于几个模型来说，这种效应在新采集的数据上减弱，表明与基准相关的周围声学信息——而不仅仅是文本自动补全——帮助模型恢复了参考内容。

公开基准与新采集的保留音频上被掩码数字的恢复率。

正字法切换

我们的正字法切换探测测试模型是否复制基准参考转录中使用的精确拼写，即使该拼写在音频中不明确。正字法变体是指在语义和语音上相同但拼写方式不同的词（1 vs one，Mr. vs mister，John vs Jon，Honor vs Honour 等）。理论上，模型应该一致地偏好一种拼写，或者以大致随机的比率交替使用。如果模型系统性地切换以匹配每个基准参考转录中的内容，则表明模型正在捕捉测试所期望的拼写。

转录：“I URGED ON THE BOYS THAT WHATEVER HAPPENED WE SHOULD NOT SHOOT ANY ONE” —— 使用 “any one” 的模型：6/11，使用 “anyone” 的模型：5/11

转录：“CAMOUFLAGE WAS NOT A WORD THE CAPTAIN OR ANYONE ELSE OF HIS TIME YET UNDERSTOOD” —— 使用 “any one” 的模型：2/11，使用 “anyone” 的模型：9/11

在 LibriSpeech 内部，我们测试了一次数据集内切换，涉及一种较旧的间距惯例：一些参考转录使用 “any one”，而其他则使用 “anyone”。我们测量给定变体的最小准确率，我们称之为“切换率“。如果模型只使用一种变体，其切换率为0%；随机选择的模型预期切换率为50%。在每个测试样本中都知道使用哪种变体的模型将获得100%的切换率。

“any one” vs “anyone” 间距惯例的切换率，按模型排序。

我们的第二个探测测试了数据集间切换，其中每个基准在其测试语料库中一致地使用不同的拼写惯例。例如，VoxPopuli 使用缩写 “Mr.”，而 LibriSpeech 拼写为 “Mister”。

多个模型超过了50%的随机选择基线，有些达到了约90%的切换准确率。这表明模型能够识别音频样本来自哪个数据集，并选择该基准所期望的拼写惯例，即使两种形式听起来完全相同。

“Mr.” vs “Mister” 惯例在 VoxPopuli 和 LibriSpeech 之间的切换率，按模型排序。

定位切换点

为了测试这些行为是否能推广到公开基准之外，我们还从相同的源领域收集了新数据，但在模型训练截止期之后：最近的欧洲