生成式 vs. 编码器大语言模型用于ASR评估：一项比较研究

# 生成式与编码器大语言模型在自动语音识别评估中的比较研究
来源：https://arxiv.org/html/2608.25574  
Thibault Bañeras-Roux¹，Shashi Kumar¹，Driss Khalil¹，Sergio Burdisso¹，Petr Motlicek¹，Shiran Liu¹，Mickael Rouvier²，Jane Wottawa³，Richard Dufour⁴  
所属机构：  
¹瑞士马蒂尼，Idiap研究学院  
²法国阿维尼翁，阿维尼翁大学LIA  
³法国勒芒，勒芒大学LIUM  
⁴法国南特，南特大学LS2N  

#### 摘要
自动语音识别通常采用词错误率进行评估，但这难以反映语义相似性。虽然基于嵌入的指标与人类判断的相关性更强，但编码器和解码器大语言模型各自的角色仍未得到充分探索。本文对两类模型在语音识别评估中的应用进行了比较研究。我们在不同大语言模型、层级和池化策略下分析了BERTScore和SemDist，表明经过适当配置，这两个指标都能与人类判断实现强相关性。对于解码器模型，我们通过提示进行成对假设选择和直接定性错误分类两种设置来研究生成式大语言模型。结果表明，编码器指标仍具有很强的竞争力，而生成式大语言模型在假设比较方面表现优异，并提升了语音识别评估的可解释性。

#### 关键词：自动语音识别，大语言模型，语义评估，BERTScore，SemDist，人类感知

## I 引言
自动语音识别在语音接口、转录服务和无障碍工具等应用中扮演着核心角色。由于其广泛影响，稳健的评估方法对于追踪进展和指导系统开发至关重要。尽管词错误率长期作为标准指标，但其严格的匹配规则和对表面形式变化（如大小写或细微词汇差异）的敏感性使其存在局限，可能掩盖转录质量感知上的实质改进。为解决这些缺点，多种评估方法被提出。特别是利用上下文化词表示的语义指标，已被证明与人类判断具有更强的一致性。基于BERT等编码器架构的方法在捕捉超越表面文本重叠的上下文含义方面尤其具有影响力。然而，仅解码器的大语言模型（包括GPT、Llama和Gemma）受到的关注相对较少，尽管它们具有强大的通用推理和生成能力。这一空白提出了在结构化语音识别评估场景中，编码器和解码器表示如何比较的问题。

本文从互补维度系统研究了编码器和解码器表示在语音识别评估中的作用。首先，我们比较了编码器模型和解码器大语言模型得出的语义表示，研究了不同池化策略如何影响其编码有意义的句子级相似性的能力。其次，我们考察了“大语言模型即评委”范式，评估解码器模型是否能通过利用其上下文理解直接区分相互竞争的转录假设。评估在HATS数据集上进行，该数据集提供了语音识别输出的详细人类判断，并显示语义指标与感知的相关性强于词错误率。我们分析了：（1）不同池化策略下编码器与解码器嵌入得出的语义相似度指标，（2）成对假设选择，以及（3）大语言模型生成定性错误评估的能力。研究结果表明，解码器模型可以匹敌或超越强大的编码器指标，而两类模型相较于标准语音识别评估都提升了稳健性和可解释性。

## II 相关工作
### II-A 从词汇到语义的语音识别评估
自动语音识别系统通常使用词错误率进行评估，该指标衡量将假设转换为参考文本所需的最小插入、删除和替换次数。由于其简单性和可重现性，词错误率已成为语音识别评估的事实标准。然而，许多研究指出了其局限性。由于每个标记错误对最终分数的贡献相等，词错误率忽略了单个错误的重要性，对无害的措辞更改施加了与改变意义错误同样严厉的惩罚。这些缺点在考虑下游应用时尤为明显。词错误率的改进并不一定转化为消费语音识别转录任务的性能提升，也不一致反映用户对转录质量的感知。因此，不同的评估指标可能对语音识别系统的排序不同，表明指标的选择应取决于预期应用，特别是当转录稿是为人类设计时。

### II-B 基于嵌入的语义指标
为了更好地考虑意义保留，人们提出了多种语义评估指标。早期方法依赖于静态词嵌入，而较新的方法利用Transformer编码器（如BERT）产生的上下文化表示。这些上下文嵌入捕捉了超越词汇重叠的句子含义，使其特别适合评估语音识别假设。最广泛使用的语义指标包括BERTScore（比较上下文化标记嵌入）和SemDist（衡量句子嵌入之间的余弦距离）。两者已被证明与人类判断的相关性显著优于词错误率。然而，它们的性能取决于底层语言模型和从中提取的表示，这促使对嵌入选项进行更深入的分析。

尽管有所改进，基于嵌入的指标仍然难以解释。与以直观错误率表示的词错误率或字符错误率不同，语义指标通常产生没有明显语义解释的余弦相似度。因此，一些研究提出了将语义严重性纳入词汇指标，或根据语义影响分析语音识别错误，从而提供比单一相似度分数更具信息量的评估。

### II-C 以人为中心的语音识别评估
一个互补的研究方向旨在设计更好地反映人类感知的评估指标。这推动了包含对转录质量明确人类判断的数据集收集，从而可以直接比较自动指标与感知质量。HATS数据集是这样一个基准，它提供了对法语语音识别假设的成对人类偏好。它证明了语义指标与人类标注者的一致性远高于词错误率，证实了先前在专有数据集上报告的结果。最近，有研究表明字符错误率在多语言环境中本身可以比词错误率更强地近似人类判断。虽然先前工作主要关注基于编码器的语义表示，但基于解码器的大语言模型的出现提出了生成式模型是否也能作为有效语音识别评估工具的问题。本文研究了编码器和解码器大语言模型，比较了它们的语义指标表示，并评估了生成模型直接评估转录质量的能力。

## III 基于嵌入的语音识别评估
如前所述，词错误率难以反映人类感知。虽然基于嵌入的指标与人类判断的相关性更强，但其行为强烈依赖于底层表示和提取策略。本文研究编码器和解码器大语言模型嵌入在语义指标方面如何符合人类预期。

### III-A 评估设置
我们依赖HATS数据集作为比较自动指标与人类判断的参考。遵循先前工作，我们根据标注者间协议考虑三个子集：（i）100%协议，（ii）≥70%协议，和（iii）完整数据集。这使我们能够分析不同标注模糊性水平下指标的稳健性。协议计算方式为：协议=max(A,B)/(A+B)。作为基线，词错误率和字符错误率在100%协议子集上分别达到63%和77%的一致性。由于基于嵌入的指标产生连续相似度分数，在我们的实验中不会出现平局，这不同于词错误率或字符错误率等离散词汇指标。

### III-B 编码器和解码器大语言模型的BERTScore
图1：BERTScore指标在不同模型和表示层上与人类判断的一致性。人类标注来自具有标注者共识的HATS数据集子集。
为研究上下文化表示对语义评估的影响，我们使用每个评估的编码器和解码器大语言模型每个Transformer层提取的嵌入计算BERTScore。然后测量所得BERTScore值与HATS数据集上人类判断的相关性，使我们能够识别哪些模型和表示层最能捕捉人类标注者感知的语义相似性。图1报告了每个模型和层获得的一致性。首先观察到，最优表示层强烈依赖于模型。尽管中间层通常提供最高一致性，但最终层对几个模型仍是最优的，因此难以先验预测应使用哪一层。因此，应用BERTScore进行语音识别评估时，层选择应被视为重要的超参数。

比较编码器模型显示，句子级微调主要影响网络的最后几层，而较早层与相应的CamemBERT模型显著相似。这种专业化可带来显著改进，如Sentence-CamemBERT-large所示，但并非系统性：Sentence-CamemBERT-base相对于CamemBERT-base性能下降，表明句子级微调仅在底层表示足够表达力时才有益。解码器模型观察到类似行为。专门用于嵌入的Qwen3模型通常优于原始模型，最大差异出现在最深层。然而，最后层似乎不是BERTScore最适合的表示。总体而言，当选择适当的表示层时，编码器和解码器大语言模型都能取得强劲性能。最佳结果来自Sentence-CamemBERT-large和Qwen3-Embedding-8B，表明专用的句子或面向嵌入的微调对两种架构都有益。有趣的是，编码器模型尽管参数少得多，但仍能达到与最佳解码器模型相当的性能，凸显了其在基于嵌入的语音识别评估中的效率。

表I：使用最后层表示的不同模型和池化策略的SemDist与人类判断的一致性。人类标注来自具有标注者共识的HATS数据集子集。

### III-C 编码器和解码器大语言模型的SemDist
我们使用SemDist指标评估语义相似性，该指标定义为从通过聚合来自大语言模型的标记表示获得的句子级嵌入之间的余弦相似度导出的距离。给定由大语言模型产生的一系列标记嵌入，通过池化获得固定大小的句子表示。我们评估多种策略，其中t_i表示序列中长度为n的第i个标记的嵌入：
- • 最后标记：t_n
- • 均值：(1/n)∑_{i=1}^{n} t_i
- • 去除最后的均值：(1/(n-1))∑_{i=1}^{n-1} t_i
- • 加权均值：(∑_{i=1}^{n} i·t_i)/(∑_{i=1}^{n} i)
- • 去除最后的加权均值：(∑_{i=1}^{n-1} i·t_i)/(∑_{i=1}^{n-1} i)

我们评估所有模型、层和池化策略组合在与HATS数据集上人类标注的相关性方面的表现。表I总结了不同模型和池化方法的性能。总体而言，结果表明模型规模本身不是性能的可靠预测因子。虽然较大的模型在某些情况下可能有益，但较小或中等规模模型根据层和池化策略可以达到相当甚至更好的相关性。这表明语义表示的质量更多由架构和训练选择驱动，而非规模本身。

第二个观察涉及池化策略。排除专门用于嵌入的模型，最后标记表示通常次优。这与自回归模型被训练来预测下一个标记而非在最终隐藏状态中编码全局句子含义的事实一致。相比之下，均值和加权池化始终表现强劲，表明聚合标记级信息提供了更稳定的句子级语义估计，特别是在假设和参考长度相似的情况下。正如预期，专门用于嵌入的模型表现不同：特别是对于Qwen模型，最后标记表示变得显著更具竞争力，通常匹配或超越替代池化策略。这证实了面向嵌入的微调可以重塑最终隐藏状态的作用，使其更适合作为全局语义表示。