LOPA：通过潜在序数原型对齐提升口语评估

# LOPA：通过潜在序数原型对齐增强口语语言评估
来源：https://arxiv.org/html/2606.31310
林超 陈燕

###### 摘要

随着模型规模和多模态输入的不断增长，多模态大语言模型（MLLMs）已成为口语语言评估（SLA）的一种有前景的范式。尽管有效，但这种范式常常忽略了语言习得的内在序数结构。本文通过引入用于SLA的潜在序数原型对齐（LOPA）来绕过大规模MLLMs的必要性，这是一种基于原型的正则化器，直接在潜在空间上施加序数几何先验。结合语义锚定层路由（SALR），该路由自适应地从冻结的Whisper编码器中提取多层表示，我们的框架实现了0.361的均方根误差（RMSE）。这一性能可与数十亿参数的系统相媲美，且无需基于LLM的微调。进一步分析表明，SALR与LOPA的协同作用提供了可解释的、与标准对齐的偏好，从而为当前SLA中以规模为中心的模型提供了一种高效且具有序数感知的建模替代方案。

###### 关键词：

口语语言评估，序数回归，语音表示学习

## 1引言

口语语言评估（SLA）旨在从自发的口语回答中评估学习者的口语能力，为计算机辅助语言学习（CALL）提供关键支持[IEEE5881478]。最近，大规模多模态大语言模型（MLLMs）的出现极大地重塑了SLA的格局。为了利用这些模型的能力，先前的工作通常采用监督微调（SFT）和指令微调[ma25b_interspeech,lin2025sessionlevelspokenlanguageassessment]在SLA上取得了令人印象深刻的性能。然而，这种范式不可避免地面临两个关键挑战。首先，在低资源环境下，微调和部署数十亿参数模型的计算成本对于许多真实世界的教育用例来说可能是难以承受的。其次，这些模型通常将能力评分视为文本生成或标准回归问题，这在很大程度上忽略了反映人类语言习得渐进性的内在序数结构。

作为一种实用的替代方案，近期的研究转向利用中等规模的语音基础模型，如Whisper[radford2023robust]。虽然这些方法更轻量，但它们通常依赖最终编码器层[chao2026probinghiddentalentasr]或基于转录的特征[cai25_slate]，从而丢弃了中间表示中保留的丰富声学、音系和语音线索。此外，现有的基于Whisper的系统通常忽略序数信息，将能力水平视为独立类别而非连续的、发展性的轨迹。这一限制对SLA尤其不利，因为相邻水平（例如，B1 vs. B2）之间的区分需要同时理解语义深度和发音精确性。

鉴于这些挑战，本文主张原则性的架构设计比直接扩展规模对语言评估更有效。我们提出了一个轻量级框架，通过SALR利用冻结的Whisper编码器的多层表示。这允许模型动态地整合不同抽象层次的信息，从深层语义线索到浅层声学特征。此外，为了更好地捕捉语言能力的渐进性，我们引入了潜在序数原型对齐（LOPA），它有效地集成了一个序数原型损失，直接在SLA的嵌入空间中加强序数关系。在不微调骨干网络或使用LLM的情况下，我们的方法实现了与显著更大的多模态系统相当的性能，同时具有简单性和可解释的行为，使分析更加容易。

参考图注图1：所提出方法的示意图。
## 2相关工作

近期研究指出，大规模预训练语音模型，如Whisper[radford2023robust]，以严格的层次化方式编码信息。具体而言，[klimova2024uncovering]表明音节和语音线索集中在中低层编码器层。这与[gandelsman2024beyond]中的发现一致，该研究展示了从早期层的低级声学主导到较高层线性可分离语义属性的转变。在此基础上，[chao2025probinghiddentalentasr]指出Whisper的最终编码器层可以有效探测SLA，揭示出与CEFR能力水平[council2001common]对齐的隐含序数结构。然而，仅关注最终层可能会丢失对于评估发音和流利度至关重要的细粒度声学/语音信息，并且由此产生的潜在空间仍然分离较弱，不同能力水平之间存在大量重叠。

作为补救措施，基于原型的公式提供了一种简单机制来鼓励嵌入空间中的类内紧凑性，并已广泛用作表示学习中的几何归纳偏置[NIPS2017_cb8da676,ECCV2016_10.1007]。更广泛地说，SUPERB[yang21c_interspeech,shi23g_interspeech]采用了冻结骨干网络、轻量级头部框架，并通过加权和显式聚合多个隐藏状态，揭示了对于下游语音任务，最后一层表示并非总是最优。

总的来说，这些发现表明单层探测提供了对学习者语音的不完整描述，这促使了我们的方法整合多层表示以同时捕捉低级语音属性和高级能力信号，同时显式增强不同能力水平之间的序数可分离性。

## 3方法论

### 3.1问题定义

本文关注多部分测试环境中的口语语言评估（SLA）任务。应试者提供跨不同部分P={P1,P3,P4,P5}\mathcal{P}=\{P1,P3,P4,P5\}的口语回答，每个部分旨在引出特定的语言能力。目标是学习一个回归函数f:X→yf:\mathcal{X}\to y，将特定部分的语音输入X\mathcal{X}映射到相应的能力得分yy。参考得分由人类评分员在序数能力量表上给出（4.1节）；我们旨在训练其预测与这些参考紧密匹配的自动评分器。

### 3.2模型架构

所提出的方法通过一个四阶段流水线将输入语音波形X\mathcal{X}转换为能力得分y^\hat{y}，该流水线旨在最大化提取重要且相关的信息，同时保持预测结果的可解释性。我们提出方法的完整工作流程概览如图1所示。

阶段1：多层特征提取我们利用预训练语音基础模型的编码器作为冻结骨干网络。给定输入音频频谱图，编码器输出隐藏状态堆栈H={H1,H2,...,HL}H=\{H_{1},H_{2},\dots,H_{L}\}，其中Hl∈RT×DH_{l}\in\mathbb{R}^{T\times D}表示来自第ll层的TT个令牌嵌入序列，DD是特征维度。

阶段2：语义锚定层路由（SALR）为了综合这些多层次特征，我们使用一个名为语义锚定层路由的轻量级层加权模块来形成编码器层的语义锚定混合。学习一组标量权重{wl}l=1L\{w_{l}\}_{l=1}^{L}来计算层的加权和：

Ffused=∑l=1Lexp(wl)∑k=1Lexp(wk)Hl.F_{\text{fused}}=\sum_{l=1}^{L}\frac{\exp(w_{l})}{\sum_{k=1}^{L}\exp(w_{k})}H_{l}.\quad (1)受Whisper层中观察到的从声学到语义的分层特性（第2节）启发，路由混合可以有选择地用于能力评分的互补深度。为了稳定训练，我们将wLw_{L}初始化为较高值，其他初始化为零。这种有偏初始化将训练锚定在强大的语义基线上，并允许模型仅在有益时才招募额外层，从而在我们冻结骨干网络的设置中减轻了无差别混合导致的特征稀释。

阶段3：基于注意力的时间池化由于口语回答在长度和显著性上常有所不同，我们应用注意力池化将FfusedF_{\text{fused}}聚合为固定大小的向量。我们使用共享评分器计算每个时间步的标量分数utu_{t}，并使用掩码softmax进行归一化，得到注意力权重αt\alpha_{t}，其中∑t=1Tαt=1\sum_{t=1}^{T}\alpha_{t}=1。池化表示表达为

hpool=∑t=1TαtFfused,t.\mathbf{h}_{\text{pool}}=\sum_{t=1}^{T}\alpha_{t}F_{\text{fused},t}.\quad (2)
参考图注图2：潜在空间的t-SNE可视化。左图：原始的Whisper最后一层表示在相邻能力水平之间表现出显著重叠。右图：使用我们的LOPA损失后，嵌入在水平内部更加紧凑，跨水平更加可分，形成了更清晰的序数轨迹，与CEFR进展一致。标记类型表示四个测试部分（P1/P3/P4/P5）。表1：在S&I评估集上的整体性能。我们仅使用Whisper的模型在多模态评分器之间实现了竞争性准确度，且无需多模态LM微调。族名模型RMSEPCC%≤≤0.5%≤≤1.0轻量级BERT（级联ASR→\rightarrowBERT基线）[lin25_slate]0.4450.72776.096.3轻量级W2V（wav2vec2端到端评分器）[lin25_slate]0.3940.79081.399.3轻量级APP（Whisper最后一层）[lin2025sessionlevelspokenlanguageassessment]0.3830.80581.799.0轻量级Perezoso（Whisper + BERT + 手工特征）[cai25_slate]0.3640.82683.099.7轻量级我们的方法（仅Whisper + SALR + LOPA）0.3610.82883.399.0MLLMPhi-4-CTG[lin2025sessionlevelspokenlanguageassessment]0.4120.79674.798.0MLLMPhi-4-STG[lin2025sessionlevelspokenlanguageassessment]0.3750.82081.799.3MLLMPhi-4-MTL[lin2025sessionlevelspokenlanguageassessment]0.3620.82585.799.0MLLMPhi-4-MTL-APP[lin2025sessionlevelspokenlanguageassessment]0.3600.82785.799.0阶段4：潜在投影与评分池化表示hpool\mathbf{h}_{\text{pool}}随后通过特征适配器转换为结构化的潜在嵌入z∈Rdlatent\mathbf{z}\in\mathbb{R}^{d_{\text{latent}}}。接着，一个线性投影头将z\mathbf{z}映射到KK个类别logits，这些logits经过softmax归一化产生概率分布P(k∣z)P(k\mid\mathbf{z})。为了启用连续评分并减轻离散分类中的信息损失[ma25b_interspeech]，最终能力得分y^\hat{y}计算为有序得分集{sk}k=1K\{s_{k}\}_{k=1}^{K}的期望：

y^=∑k=1KP(k∣z)⋅sk.{\hat{y}=\sum_{k=1}^{K}P(k\mid\mathbf{z})\cdot s_{k}}.\quad (3)模型使用Ltask=‖y^−y‖22\mathcal{L}_{\text{task}}=\left\lVert\hat{y}-y\right\rVert_{2}^{2}进行优化，其中yy表示真实能力得分。

### 3.3潜在序数原型对齐（LOPA）

虽然原始的Whisper表示表现出内在的序数结构[chao2025probinghiddentalentasr]，但潜在空间缺乏精确评分所需的明显可分离性。为了锐化这一隐含流形，我们引入了潜在序数原型对齐（LOPA）。LOPA并非从头构建结构，而是作为几何正则化器，通过将嵌入z\mathbf{z}与可学习的水平原型C={c1,...,cK}\mathcal{C}=\{\mathbf{c}_{1},\dots,\mathbf{c}_{K}\}对齐来放大序数性。每个ck\mathbf{c}_{k}从第kk个CEFR水平质心初始化，并在训练中更新。令ki∈{1,...,K}k_{i}\in\{1,\dots,K\}得分为sks_{k}的序数索引。目标包含两个主要项：

#### 3.3.1原型吸引损失

该通过最小化样本表示zi\mathbf{z}_{i}与其对应真实原型cki\mathbf{c}_{k_{i}}之间的欧氏距离来诱导类内紧凑性：

Lattract=1N∑i=1N‖zi−cki‖22.\mathcal{L}_{\text{attract}}=\frac{1}{N}\sum_{i=1}^{N}\left\lVert\mathbf{z}_{i}-\mathbf{c}_{k_{i}}\right\rVert_{2}^{2}.\quad (4)

#### 3.3.2序数约束损失

为了施加类间拓扑，我们要求原型之间的几何距离反映其得分之间的语义距离。令sjs_{j}表示类别jj的数值得分。我们学习一个全局缩放因子α>0\alpha>0来对齐原型距离与得分差距的幅度。序数损失定义为

Lordinal=1K2∑j=1K∑k=1K(α‖cj−ck‖2−|sj−sk|)2.\mathcal{L}_{\text{ordinal}}=\frac{1}{K^{2}}\sum_{j=1}^{K}\sum_{k=1}^{K}\left(\alpha\left\lVert\mathbf{c}_{j}-\mathbf{c}_{k}\right\rVert_{2}-\left|s_{j}-s_{k}\right|\right)^{2}.\quad (5)这作为一个几何正则化器，强制原型之间的单调性，确保原型间距离与实际能力得分差距成比例。总目标为：

Ltotal=Ltask+λattLattract+λordLordinal.\mathcal{L}_{\text{total}}=\mathcal{L}_{\text{task}}+\lambda_{\text{att}}\mathcal{L}_{\text{attract}}+\lambda_{\text{ord}}\mathcal{L}_{\text{ordinal}}.\quad (6)
虽然原型学习[NIPS2017_cb8da676]和序数排序[gong2022ranksim]已在一些机器学习应用中被孤立地探索，但它们在语音相关任务如SLA中的系统整合仍未充分研究。LOPA通过将这两个范式融合为一个统一目标，明确将潜在空间塑造为有序流形来解决这一问题。当与SALR结合时，这个轻量级框架提供了一种新颖的、任务感知的实例化，将冻结Whisper编码器的多层次深度表示转化为结构化、可操作的特性。LOPA和SALR的协同不仅实现了高精度的自动评分，还促进了跨评估标准的细粒度、可解释的逐层模型行为分析。

## 4实验

### 4.1数据集与协议

本工作在Speak & Improve (S&I) Corpus 2025[qian25_slate,knill25_slate]上进行评估。我们使用官方训练/开发/评估拆分。遵循官方SLA设置，我们关注开放式口语部分{P1,P3,P4,P5}\{P1,P3,P4,P5\}，部分级别参考得分由人类评分员在CEFR对齐的序数量表上以半分为增量（2.0–5.5）分配。整体会话得分定义为四个部分得分的算术平均值。

### 4.2实验设置与对比方法

遵循第4.1节，我们为每个部分训练特定部分的评分器，以考虑各部分之间的长度系统性差异。我们将我们的方法（利用冻结的Whisper编码器与SALR以及LOPA训练的特征适配器）与两组基线进行比较：(i) 基于编码器或级联基线：包括wav2vec2[baevski2020wav2vec]和ASR→\rightarrowBERT评分器[devlin2019bert]。