来自提示层级上下文的侧级词错误率无显著变化：一项针对生产口语历史语料库的预注册消融研究

# 从提示级上下文到侧级词错率无可检测变化：针对生产级口述史语料库的预注册消融研究  
来源：https://arxiv.org/html/2608.28875  
Stephanie Dodson  
所属机构：独立研究员  
Keith Nore  
所属机构：独立研究员  

###### 摘要  
在推理时为大型多模态模型提供上下文，是一种低成本的语音转录领域适配方法，早期基于较小模型的研究报告了显著收益。本研究在该机制实际部署的场景中——即生产级口述史转录工具的提示条件化层——使用其自身生产语料库的样本进行了测试。完整的提示级上下文并未显著改变侧级词错率（WER），且四个预注册假设均未得到支持。研究设计采用项目内配对消融，分析代码在确认性批次数据评分前已通过哈希值冻结预注册；两个已公开的 gpt-4o 试点侧数据在评分器开发阶段已提前评分。十九个磁带面（约10.6小时1970-80年代退化采访音频）通过生产代码路径在三种提示条件下重新处理，并与两种已部署的商业配置（gpt-4o-transcribe 和 gemini-2.5-flash）交叉组合，最终对照操作员校正的逐字参考文本进行评分。对于 gpt-4o-transcribe，完整上下文与无上下文条件的中位配对差异为+0.6 词错率点，侧重采样置信区间为[-1.1, +1.0]；Gemini 的估计结果过于不稳定，无法支持类似的负面推断。事后重运行发现，流水线的逐次运行变异性大于确认性差异，因此此类规模的效应无法从每个单元单次转录中解析出来。实施审计证实了操纵的有效性，序列对齐分析发现完整上下文列举短语存在微小改进，但其幅度太小，不足以实质改变侧级词错率，且在 Gemini 中与未列举词元错误加剧共存。因此，评估上下文机制需在总体准确率之外，同步采用序列对齐的词项级、插入错误及说话者标签度量。  

## 1 引言  
语音识别（ASR）从业者如今拥有一种低成本的领域适配选项——在提示中提供领域知识，这在数年前尚不存在。现代基于大语言模型的转录 API 接受自由文本条件化指令。直观推测，在推理时提供名称、传记和精选词汇应能引导模型采用正确的实体和命名规范。早期关于提示条件化 Whisper 的研究支持了这一直觉，领域提示在空管音频中大致使词错率（WER）减半 [Cochran, 2024]。生产级转录工具已将此机制作为核心功能发布。本研究探讨该机制在实际部署环境中是否有效。研究对象为 Dialog Scribe——一款生产级口述史转录工具。其唯一操作员（共同作者 Keith Nore）是一名经验丰富的志愿者转录员，他通过该工具处理了一批1970-80年代阿拉斯加斯卡圭私人收藏的口述史磁带。他为每个项目附加了丰富的上下文：采访者与受访者姓名、传记简介，以及一份包含当地地点、人物和铁路术语的34项标准词汇表。其手工校正的逐字转录文本作为参考基准。保留的生产音频与应用程序自身的提示渲染代码路径使得可控重运行成为可能，这使得我们可以研究部署本身，而非其重构版本。  

设计采用的是已发现数据、回顾性、项目内配对消融。相同音频在对比组内保持部署转录配置固定，仅改变提示级上下文，每个音频面×模型单元均对照相同参考文本评分。项目内配对的目的是消除音频面构成在条件间的差异，并控制每个面共享的参考规范及录制难度。  

两个特性使得该零结果异常稳健：其一，它是预注册的：假设、指标定义、排除标准及统计计划在完整结果数据集形成分析形式前已冻结（两个已公开的 gpt-4o 试点面在评分器开发阶段已评分），分析代码通过 SHA-256 哈希值提交（OSF 10.17605/OSF.IO/NS49B）。冻结代码（而非仅冻结计划）的目的是消除对注册指标计算方式的事后自由裁量空间。其二，该结果经过审计。零结果出乎意料，因此在评分后对操纵进行了端到端追溯：提示构建与生产代码路径字节级一致，传递在两个供应商的请求路径中得到验证，模型消耗通过完整条件输出中存在而其他条件下缺失的上下文词元得到实证。对任何零结果的首要质疑（即处理未触及主体）已被直接证据实质排除。  

确认性答案是：在此语料库上，提示级上下文未产生可检测的总体准确率变化。两个模型均未支持四个注册假设（WER、实体召回率、完整上下文 vs 结构化上下文、过度偏置）中的任何一个。对于 gpt-4o-transcribe，其观察到的单次输出区间狭窄——侧级重采样将中位配对差异集中在零点约1个词错率点范围内。但这并非重复调用等效边界（如事后重运行所示，§5.5）。且该区间为事后生成，而非注册的等效性检验，数据面亦聚集于八名受访者内（§8，T7与T8）。  

探索性答案是：从业者的实际杠杆在其他地方，因为在此音频上，不同部署配置可使词错率变动约18点。在无提示单次运行中，较弱配置额外产生循环或高错误输出，在19个退化磁带面中有5个词错率超过100%，而较强配置为1个（§5.3）。  

**贡献**：  
1. 预注册且经实施审计的零结果：对于两种已部署的商业转录配置，在生产语料库上，提示级上下文条件化未产生可检测的总体转录准确率变化。gpt-4o 的自举区间（在观察到的单次输出侧级重采样下约±1词错率点）是注册计划的一部分。其作为实际敏感度边界的解释属事后，因未预注册等效性边际。  
2. 两种已部署供应商配置的探索性对比，含可靠性维度：在相同音频上中位词错率差达17.8点，且对参考锚定分层稳健；同时较弱配置在无提示单次运行中有5/19的病理输出率，较强配置为1/19。两者流水线差异不仅限于模型身份（§5.3）。在此语料库上，配置选择与输出筛选似乎比提示工程提供了显著更高的操作杠杆。  
3. 关于零结果与真实上下文效应共存的构念效度解释：上下文明确增加了上下文列举字符串的生成，并引发命名说话者标签，序列对齐错误降低集中于完整列举短语：对 gpt-4o-transcribe，在所有测试的构念变体中均呈现，在多数面上出现，在每次留一受访者删除下保持负向，且不因三个最高频词汇驱动（§5.4）；对 Gemini，仅在短语跨度构念下成立，且伴随未列举词元错误加剧。这些效应在算术上过小，或与输出不稳定性过度纠缠，无法在侧级词错率中体现，并在通用实体召回指标中被稀释。评估上下文机制需将序列对齐的词项级构念（如基于上下文自身词表的列举词项错误及归因准确率）作为核心成果。  
4. ASR 零结果评估的文档化工作流：预注册与冻结代码、事后操纵审计，以及围绕零结果所需负担反转组织的效度威胁分析。  

本文其余部分组织如下：§2 回顾提示条件化、上下文偏置及超越 WER 的评估；§3 描述研究系统，§4 阐述方法（包括注册假设与冻结结果度量）；§5 呈现确认性、敏感性、探索性及标记化事后结果，§6 为实施审计；§7 讨论操作杠杆所在及零结果对评估设计的启示；§8 呈现效度威胁分析；§9 为局限性与未来工作；§10 为伦理与数据治理记录；§11 为可复现性与可用性声明；§12 结论。  

## 2 背景与相关工作  
### 2.1 ASR 的提示条件化  
转录的自由文本条件化最好描述为一种已广泛产品化、但证据基础近新且不均衡的机制，而非成熟的适配技术。其起源颇具说明性：Whisper 的先前文本条件化最初作为长程解码启发式引入（前一窗口的转录被送入解码器，在解码不可靠时禁用，因其会传播错误），而非作为领域适配通道 [Radford et al., 2023]。OpenAI 的限制性说明针对该系列：whisper-1 的提示功能“比我们的其他语言模型更有限”[OpenAI, 2026a]，而手册中关于提示技术“不太可靠”的警告针对的是 Whisper 的虚构拼写提示 [OpenAI, 2026b]。相比之下，对于 gpt-4o-transcribe 系列，同手册将 prompt 参数呈现为可用的上下文通道，其使用“类似于您如何提示其他 GPT-4o 模型”[OpenAI, 2026a]。因此，本研究测试的机制正是该特定模型的厂商推荐用法，这使问题更为尖锐。  

文献报告明显提示增益时，所用机制通常强于普通推理时文本：面向未见任务的任务词元工程 [Peng et al., 2023]、解码器上下文中的配对语音-文本示例 [Wang et al., 2024]、通过文本交叉注意力注入语音编码器的专用提示编码器 [Yang et al., 2024b]，或微调模型以关注提示本身。Liao et al. [2023] 与 Shamsian et al. [2024] 均基于观察：开箱即用的 Whisper 不能可靠利用文本提示。对纯文本提示的直接测试结果混合：Gao et al. [2025] 报告了基于提示的 Whisper-Plus-LLM 配置在儿童朗读语音上的大幅总体收益（其最佳系统从9.4%降至5.1% WER），同时发现反直觉的敏感性——源自所读文本的提示恶化 WER，而无关文本反而改善；Yang et al. [2024a] 未发现 Whisper 的提示理解与其准确率间相关性；ProfASR-Bench 报告在平均 WER 上“几乎无变化”，即使在 Oracle 提示下亦如此，并将此现象命名为*上下文利用差距* [Piskala, 2025]；ContextASR-Bench 在命名实体规模（300k+ 实体，10+ 领域）评估上下文利用，发现其高度依赖模型 [Wang et al., 2025]；IndicContextEval 评估相关商业 AudioLLM 端点（gpt-4o-transcribe 与 Gemini 3 Flash），发现实体列表上下文仅使 gpt-4o-transcribe 移动约2.6个词错率点（较大相对收益局限于实体错误），且直接恶化某一开源模型 [Joshi et al., 2026]。相比之下，早期空管结果发现领域提示在词汇饱和情境下大致使 Whisper Small 和 Medium WER 减半 [Cochran, 2024]。§7 将调和两者。本研究新增之处在于：对确切发布机制进行预注册、实施审计的测试，使用生产语料库，通过生产代码路径。  

### 2.2 上下文偏置  
另一截然不同且更成熟的技术家族条件化解码器而非指令通道，其上下文以结构化、有界列表形式提供。该脉络从生产识别器的动态 WFST 偏置 [Aleksic et al., 2015] 开始，经端到端模型的子词浅层融合 [Zhao et al., 2019]、短语列表嵌入注意力（CLAS）[Pundak et al., 2018]、基于字典树的深度偏置 [Le et al., 2021]、树约束指针生成器 [Sun et al., 2021]，延伸至冻结模型的上下文适配器 [Sathyendra et al., 2022]；并延续至 Whisper 类模型 [Sun et al., 2023]，通过检索扩展至200k条目库存 [Gong et al., 2025]。其已知病理（过度偏置：将列表中未出现的音频项目错误插入）从一开始即被记录并积极工程化对抗 [Alon et al., 2019, Zhao et al., 2019]。这促使了 H4 条件的设立。  

多项商业服务暴露与无限制自由文本领域描述不同的结构化短语、词汇或关键术语接口，尽管其专有内部机制未必公开：Google 的可调增强短语集（文档明确说明误报权衡）[Google Cloud, 2026]、AWS 自定义词汇 [AWS, 2026]、AssemblyAI（同时提供自然语言上下文...