论文页面 - 走向量化ASR模型中的基准优化

来源：https://huggingface.co/papers/2608.19936

摘要

高性能语音识别模型即使在音频内容矛盾的情况下，仍能复现基准测试的转录文本，这揭示了基准优化行为——该行为会提升评分，却并未改进真实场景下的转录能力。

公开基准测试是衡量自动语音识别（https://huggingface.co/papers?q=Automatic%20Speech%20Recognition）(ASR) 模型能力的重要标准。然而，由于其公开性，模型可能在这些基准测试上被优化，且这种优化往往无法很好地泛化到真实数据。我们提出了一种量化基准优化（https://huggingface.co/papers?q=benchmark%20optimization）的方法论，重点关注音频信息不足以确定参考转录文本的案例。我们识别了三类行为探针，用以揭示模型在音频信息不足的情况下仍能复现基准参考文本片段的能力：参考文本分歧（https://huggingface.co/papers?q=reference%20disagreement）、掩蔽数字恢复（https://huggingface.co/papers?q=masked-number%20recovery）以及拼写切换（https://huggingface.co/papers?q=orthographic%20switching）。我们发现，得分最高的开源模型在相关音频内容矛盾、被掩蔽或存在歧义时，仍会逐字输出参考转录文本片段。通过使用多种机制探针（https://huggingface.co/papers?q=mechanistic%20probes），我们展示了模型会响应特定的声学线索，从而为了采用基准优化策略而牺牲对音频的真实反映。我们进一步表明，可以通过低秩线性引导（https://huggingface.co/papers?q=low-rank%20linear%20steering）或在某些情况下简单地在片段末尾附加音频，来因果性地操控基准优化行为。总体而言，我们的结果表明，高性能模型表现出受基准测试条件影响的行为，这种行为会虚增基准性能，但并未体现其通用转录能力的提升。

查看 arXiv 页面 (https://arxiv.org/abs/2608.19936)查看 PDF (https://arxiv.org/pdf/2608.19936)GitHub1 (https://github.com/HumeAI/asr-benchmark-optimization)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.19936)

在您的智能体中获取此论文：

hf papers read 2608\.19936

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2608.19936 以将其链接到此页面。

引用此论文的数据集0

无数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2608.19936 以将其链接到此页面。

引用此论文的 Spaces0

无 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2608.19936 以将其链接到此页面。

包含此论文的收藏夹0

无收藏夹包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection)以将其链接到此页面。