先验主导证据：基于LLM的二语发音反馈中的刻板印象驱动诊断

# 先验压倒证据：基于LLM的二语发音反馈中的刻板印象驱动诊断 来源：https://arxiv.org/html/2606.15325 Rong Wang\(^1\) Kun Sun\(^2,3\) \(^1\)德国图宾根大学，图宾根，德国 \(^2\)同济大学，上海，中国 rong\.wang@uni\-tuebingen\.de \(^3\)kunsun@tongji\.edu\.cn ###### 摘要 大型语言模型越来越多地被部署用于第二语言（L2）英语学习中的书面发音反馈，其假设是这些模型的诊断基于所提供的语音证据，而非预训练中获得的先验知识。我们在1,800条L2-Arctic语音样本（每种母语背景300条，涵盖六种母语）、三种支持音频的大型语言模型（Gemini 3.0 Flash、GPT-4o和Qwen 3.5 Omni-plus）、四个发音维度以及五种证据条件（从纯文本基线到数值声学特征和原始音频）上检验了这一假设。每个（语音×模型×条件×维度）单元通过三个指标进行评估：评分准确性（RA，与黄金标签比对）、证据连贯性（EC，评估无需真实标签的内部一致性）和基于证据的正确性（GC，对照黄金证据评估）。三个发现对所有模型均成立。首先，评分准确性与基于证据的推理出现解耦：39.6%的被评判单元包含内部连贯但支持错误评分的推理，而仅有15.8%的单元包含支持正确评分的推理。其次，音素级反馈坍缩为一个固定的L2英语难点音素清单（/θ/, /ð/, /r/, /v/），该清单在所有六种母语背景和所有证据条件下重复出现。第三，仅当提供的特征直接探测目标维度时，声学证据才能改善评分：在所有三个模型中，文本化的基频范围将音高变化的基于证据的推理评分从0.18–0.19提升至0.45–0.62；而重音和音素正确性（需要目标到实际发音的对齐）则仍然缺乏基于证据的推理。提供相同的音频波形但不提供文本化的基频值，则无法实现这种提升。结论是：当前通用型大型语言模型作为外部计算发音证据的言语化工具，比作为独立的诊断引擎更为可靠。先验压倒证据：基于LLM的二语发音反馈中的刻板印象驱动诊断 Rong Wang\(^1\) Kun Sun\(^2,3\) \(^1\)德国图宾根大学，图宾根，德国 \(^2\)同济大学，上海，中国 rong\.wang@uni\-tuebingen\.de \(^3\)kunsun@tongji\.edu\.cn ## 1 引言 计算机辅助发音训练（CAPT）系统越来越多地将书面反馈步骤委托给大型语言模型（LLMs）[Jeon等人，2024 (https://arxiv.org/html/2606.15325#bib.bib8)；Zhong等人，2024 (https://arxiv.org/html/2606.15325#bib.bib28)；Fu等人，2024 (https://arxiv.org/html/2606.15325#bib.bib6)]。其承诺是具体的。LLM不是返回一个学习者无法据此行动的单一发音良好度评分[Witt和Young，2000 (https://arxiv.org/html/2606.15325#bib.bib23)]，而是可以读取对齐的音素、整合声学测量结果，并生成人类可读的诊断[Li等人，2017 (https://arxiv.org/html/2606.15325#bib.bib12)；Wang等人，2025 (https://arxiv.org/html/2606.15325#bib.bib22)]。更广泛的SpeechLM文献已开始勾勒出通向"超人"语音理解的路线图，预期LLM不仅能够处理原始音频，还能对其语义和副语言内容进行推理[Bu等人，2024 (https://arxiv.org/html/2606.15325#bib.bib2)；Cui等人，2024 (https://arxiv.org/html/2606.15325#bib.bib4)]。这些研究将这种能力视为可操作的，并假设LLM将其反馈建立在所提供的证据之上，而非建立在预训练文本中存储的先验知识之上。这一假设很少被直接检验。一个基于证据的模型和一个先验驱动的模型在外部是无法区分的：两者都能生成自信、流畅的文本。关键区别在于反馈是否会随着说话者的实际发音而变化。基于证据的模型会适应具体的语音；先验驱动的模型则发出刻板的建议，例如针对/θ/或/r/的警告，而不管说话者实际发了什么音。错误的反馈比没有反馈代价更高，因为它消耗了本应用于真正错误的学习者注意力[Jeon等人，2024 (https://arxiv.org/html/2606.15325#bib.bib8)]。我们研究三个主要研究问题： - **RQ1.** 提供结构化证据（IPA、声学特征或原始音频）是否能比基线提升每个维度的评分准确性？ - **RQ2.** 当模型在评分的同时生成结构化解释时，这些解释在对照真实验证时是否真正为诊断提供了正当依据？ - **RQ3.** 诊断错误在多大程度上由说话者人口统计学先验驱动，而非由与L1无关的教学刻板印象驱动？ 我们在1,800条L2-Arctic语音样本[Zhao等人，2018 (https://arxiv.org/html/2606.15325#bib.bib27)]上评估了三种支持音频的LLM，涵盖五种证据条件，报告每个（模型×条件×维度）单元的评分准确性（RA）、证据连贯性（EC）和基于证据的正确性（GC）；每个回复同时包含评分和类型化证据，使我们能够分离标签正确性与解释的基于证据的推理。我们的贡献有三方面：(i) 一个评估框架（RA, EC, GC），在五种证据条件下将标签正确性与解释的基于证据的推理解耦；(ii) 实证证明39.6%的评估实例包含内部连贯但事实不正确的诊断，这些诊断由固定的L2刻板印象清单驱动；(iii) 一个逐维度分析，研究何时以及是否明确的声学证据可以成功对抗这些先验。 ## 2 相关工作 #### 基于LLM的发音反馈。 经典的CAPT流程依赖于从强制对齐后验概率推导出的发音良好度评分[Witt和Young，2000 (https://arxiv.org/html/2606.15325#bib.bib23)]，后来通过生成逐音素错误标签的神经错误发音检测与诊断（MDD）模型得到扩展[Li等人，2017 (https://arxiv.org/html/2606.15325#bib.bib12)；Yan等人，2023 (https://arxiv.org/html/2606.15325#bib.bib24)]。近期研究沿着三条主线将这些信号级系统与LLM结合。第一条使用LLM在MDD输出之上生成发音层面的解释[Zhong等人，2024 (https://arxiv.org/html/2606.15325#bib.bib28)]；第二条直接提示多模态LLM进行发音评分[Fu等人，2024 (https://arxiv.org/html/2606.15325#bib.bib6)；Wang等人，2025 (https://arxiv.org/html/2606.15325#bib.bib22)]；第三条将声学特征转述为文本化的韵律描述，然后传递给LLM[Chen等人，2025 (https://arxiv.org/html/2606.15325#bib.bib3)；Qian等人，2025 (https://arxiv.org/html/2606.15325#bib.bib18)]。我们的文本+声学条件属于第三类：我们提供F0最小值、F0最大值、时长和强度范围作为数值文本，连同IPA转录。我们重复了Chen等人 (2025 (https://arxiv.org/html/2606.15325#bib.bib3)) 关于音高变化的文本证据优势，但表明同样的优势不能推广到重音或音素正确性，并且仅提供音频波形而不提供文本化F0值无法复现在音高变化上（文本形式可以实现）的优势。这些先前的系统均未将评分准确性与解释的基于证据的推理分离，我们的三指标框架旨在填补这一空白。 #### 忠实性与基于证据的推理。 生成解释相对于模型决策过程的忠实性是NLP中一个长期存在的问题[Jacovi和Goldberg，2020 (https://arxiv.org/html/2606.15325#bib.bib7)；Maynez等人，2020 (https://arxiv.org/html/2606.15325#bib.bib15)；Atanasova等人，2023 (https://arxiv.org/html/2606.15325#bib.bib1)]。诸如FActScore[Min等人，2023 (https://arxiv.org/html/2606.15325#bib.bib16)]和AlignScore[Zha等人，2023 (https://arxiv.org/html/2606.15325#bib.bib26)]等参考匹配指标验证声明与提供的来源是否一致，但假设来源是真实情况。Turpin等人 (2023 (https://arxiv.org/html/2606.15325#bib.bib21)) 表明思维链推理可以系统地歪曲驱动预测的因素。我们的基于证据的正确性指标将此关注扩展到结构化语音反馈：我们联合评估评分、引用证据和原因是否与外部黄金标注一致，而非针对任何单一参考。我们观察到的39.6%的编造率是语音反馈中与不忠实CoT发现类似的现象。 #### 参数化先验与人口统计学偏见。 LLM和语音系统都带有可能覆盖输入证据的先验。问答研究表明，当提供的上下文较弱时，模型常常回退到参数化知识[Petroni等人，2019 (https://arxiv.org/html/2606.15325#bib.bib17)；Mallen等人，2023 (https://arxiv.org/html/2606.15325#bib.bib14)；Tao等人，2024 (https://arxiv.org/html/2606.15325#bib.bib20)；Kassner和Schütze，2020 (https://arxiv.org/html/2606.15325#bib.bib9)]。在语音技术中，自动语音识别对非母语和少数方言说话者的错误率更高[Koenecke等人，2020 (https://arxiv.org/html/2606.15325#bib.bib10)]。我们观察到了这两种效应。当提示中缺乏探测目标维度的声学特征时，模型会回退到人口统计学标签或存储的"L2英语问题"清单。我们记录的音素刻板印象就是这样一个清单：/θ/, /ð/, /r/和/v/主导了所有六种我们测试的L1背景中过度声称的音素，尽管对比分析传统预期的是L1特定的替换模式[Lado，1957 (https://arxiv.org/html/2606.15325#bib.bib11)；Eckman，1977 (https://arxiv.org/html/2606.15325#bib.bib5)；Swan和Smith，2001 (https://arxiv.org/html/2606.15325#bib.bib19)]。 ## 3 方法论 本设计将发音反馈研究中常被混淆的三个组成部分分开：语音材料、提供给模型的证据以及用于评判正确性和基于证据的推理的指标。图1 (https://arxiv.org/html/2606.15325#S3.F1) 给出了概览。 ### 3.1 数据集与黄金目标 我们使用L2-Arctic[Zhao等人，2018 (https://arxiv.org/html/2606.15325#bib.bib27)]，这是一个包含24位非母语说话者（涵盖六种L1背景：阿拉伯语、印地语、韩语、普通话、西班牙语、越南语）的朗读语音语料库，并有人工验证的TextGrid标注（用于音素级错误和词重音）。从人工验证的部分，我们通过说话者平衡的轮询抽样，为每种L1抽取300条语音（总共1,800条语音）：在每种L1内，流程打乱可用的说话者，然后轮流从每个说话者抽取一条语音，直到达到目标数量。说话者平衡防止少数说话者主导声学或错误分布。我们沿四个维度定义黄金评分和黄金证据目标。对于**流利度**和**音高变化**（三类：慢/正常/快；单调/正常/多变），参考标签来自每秒词数和F0范围，各自通过语料库内z分数在±0.5标准差处分箱。对于**重音正确性**和**音素正确性**（二值），标签来自L2-Arctic的TextGrid：如果语音中任何承载重音的音节与规范重音不同，则重音为阳性；如果任何音素被标注为替换、删除或添加，则音素为阳性。对于二值维度，黄金证据是验证过的错误重音元音集或错误音素集。在可评分的子集上，黄金阳性率为重音3.8%、音素96.3%；相应的始终阳性检测F1基线分别为0.07和0.98，这促使我们在§3.4 (https://arxiv.org/html/2606.15325#S3.SS4) 中引入辅助的基于证据的推理指标。 ### 3.2 证据条件 我们评估五种条件，这些条件在保持回复格式不变的情况下改变提示中的证据包（表1 (https://arxiv.org/html/2606.15325#S3.T1)）。**纯文本**提供目标句子、说话者L1和性别；**文本+IPA**增加规范IPA转录；**文本+声学**以文本形式增加数值声学特征；**纯音频**与IPA一起提供原始波形，但不提供数值特征；**音频+声学**同时提供波形和数值特征。声学字段作为原始测量值（时长、F0最小值、F0最大值、强度范围）提供，而非作为预先计算的诊断标签（例如每秒词数、F0范围），因此模型必须进行推导才能使用它们。这一设计选择与Chen等人 (2025 (https://arxiv.org/html/2606.15325#bib.bib3)) 不同，后者将相同的测量值转述为文本化的韵律描述，这可以防止基于证据的条件变成标签复制任务[Tao等人，2024 (https://arxiv.org/html/2606.15325#bib.bib20)]。 表1：五种证据条件 参见标题 图1：评估框架。来自六种L1背景的L2-Arctic语音在五种证据条件下传递给三种多模态LLM。每个回复包含四个发音维度的评分和类型化证据。最后，对每个模型-条件-维度单元评估评分准确性（RA）、证据连贯性（EC）和基于证据的正确性（GC）。 ### 3.3 模型与提示协议 我们评估三种多模态LLM：google/gemini-3.0-flash、openai/gpt-4o（用于文本条件，配以openai/gpt-4o-audio用于音频）和qwen3.5 omni-plus。三种模型在五种条件下测试，这些条件使用相同的结构化输出模式。对于每条语音，模型返回一个JSON对象，包含一个**ratings**字段（每个维度一个类别标签）和一个**evidence**字段（每个维度一个标量值或音素/重音元音列表，附带一句理由）。四个维度按每个语音随机顺序呈现（由确定性哈希种子决定），消除了列表位置作为混淆因素。我们使用API温度0，并对于格式错误的回复重试最多三次。完整的系统提示和用户提示见附录A (https://arxiv.org/html/2606.15325#A1)。 ### 3.4 评估指标 我们为每个（模型×条件×维度）单元报告三个指标，旨在分离三个问题：模型是否分配了正确的标签，其解释是否内部连贯，以及解释是否对照黄金证据有效？ #### 评分准确性（RA）。 RA将模型的预测评分与黄金标签进行比较。对于三类维度，报告macro-F1： RA_cat3 = (1/3) * Σ_{c∈C} (2P_c R_c) / (P_c + R_c)， (1) 其中 C = {慢, 正常, 快} 或 {单调, 正常, 多变}。对于二值维度，报告阳性类别F1： RA_bin = 2P_1 R_1 / (P_1 + R_1)，这是不平衡检测任务的标准选择。我们不跨维度进行macro平均，因为维度在标签结构和基率上不同。 #### 证据连贯性（EC）。 EC衡量模型的解释与其引用的证据是否内部连贯。评判者看到评分、引用证据和理由，但*不*看到黄金标签。EC按三个箱子 {0, 0.5, 1.0} 由LLM评判者进行评分，该评判者具有先前的...