AI_LectureNote：后ASR工作流在韩英医学讲座中英文脚本呈现与语义漂移的回顾性试点研究

# 针对韩英医学讲座的ASR后处理工作流：英语脚本还原与语义漂移的回顾性初步研究  
来源：https://arxiv.org/html/2607.17237  
Kyeongeon Lee, Donghoon Chang, Seungryeol Baek, Taehong Kim, Wonjun Yang  
成均馆大学，韩国  
boy\.skier@g\.skku\.edu  
dhchang5765@gmail\.com  
bsr20030507@g\.skku\.edu  
jinanara@skku\.edu  
judereal15@gmail\.com  

###### 摘要  

AI\_LectureNote 是一个历史性的、面向可读性的韩英医学讲座 ASR 后处理工作流。它将语音转文本输出重写为学习笔记，同时恢复拉丁字母的医学术语，而不是韩语拼音转写。我们回顾性地评估了该工作流在四种作者录制讲座、五种条件下的表现。在本初步研究中，后处理将whisper-1路径上的宏平均英语脚本还原率从0.39提升至0.71，当应用于3分钟分段的gpt-4o-transcribe输出时，从0.26提升至0.65。然而，英语脚本还原并不等同于语义忠实度：两种后处理条件下，282个参考句子中分别出现34个和36个语义漂移，101个极性线索行中分别出现11个和13个极性错误。描述性跨输入比较显示，不同前端间的极性错误集重叠程度更高（Jaccard系数0.60；15个联合错误中共享9个），而一般语义漂移集的重叠则较弱（Jaccard系数0.23；57个联合漂移中共享13个）。本单项标注员初步研究记录的是具体失败模式而非总体发生率，并支持分别评估表面准确性、术语脚本还原、块级脚本一致性以及医学含义保留。  

## 1. 引言  

使用录制韩英医学讲座的学生通常需要的并非逐字音频转录文本。一份有用的学习笔记应能保持讲师的医学论述可读，以英文脚本呈现英语医学术语，并保留临床或生物学意义上的关键方向性。通用ASR指标并不直接衡量这一目标。在韩英医学讲座中，当ASR将嵌入的英语术语呈现为韩语拼音字符串（例如，“carbonic anhydrase inhibitor”可能被转写为“카르보닉 아나이드레이즈 이니비터”），产生看似流畅但难以学习的转录文本时，这一差距尤为明显。  

AI\_LectureNote正是为解决这一实际问题而构建。它是一个学生搭建的原型系统，使用OpenAI的whisper-1 API作为原始ASR前端，并添加了领域感知的后处理来恢复医学术语以及将措辞规范化成学习笔记。该系统最初作为内部学习辅助工具。在此，我们原样重新运行该历史后处理代码并回顾性地评估它。  

核心区别在于可读性与忠实度之间。英语脚本还原使转录文本更易于浏览、搜索并与教科书对齐，但可能隐藏不同类型的错误。重写的转录文本可能用看似合理但实际错误的英语医学术语替换韩语拼音字符串。它可能压缩解释并删除因果关联，或者翻转极性线索，如hypo-与hyper-。这些不仅仅是格式错误；它们改变了学生将学习的内容。  

因此，驱动问题并非AI\_LectureNote是否比现代商业转录器更好。问题更具体：当面向可读性的ASR后处理重写提升了英语脚本还原时，医学含义忠实度会发生什么变化？即使使用更新的原始STT前端（如gpt-4o-transcribe），这一问题仍然相关，因为流畅的原始输出和可读的后处理输出可能以不同方式失败。  

我们在相同的四种作者录制讲座上比较了五种条件。两种条件是历史路径及其原始前端：原始whisper-1和AI\_LectureNote。两种是gpt-4o-transcribe条件：原始分段输出以及相同分段加上一个简短的韩语提示（要求英语医学术语用英文书写）。第五种条件gpt4o\_ailn\_post将相同的AI\_LectureNote后处理应用于原始gpt-4o-transcribe输出。这种跨输入条件改变了上游原始转录文本，同时固定下游后处理阶段。  

本初步研究揭示了一个可读性–忠实度权衡：后处理提升了英语脚本还原，而观察到的语义和极性错误需要对医学含义进行单独评估。因此，本报告将AI\_LectureNote视为可读性导向ASR后处理重写与医学含义忠实度之间权衡的诊断性案例研究，而非ASR系统的基准测试。详细的非声明性内容在局限性部分处理；主要范围陈述很简单：这是一个针对单个历史工作流的四讲座、五条件、单一作者标注员的初步研究。  

我们的贡献如下：  
1. 一种用于评估韩英医学学习笔记工作流的五条件回顾性方案，包括将相同后处理应用于不同原始ASR前端的跨输入对照。  
2. 两项面向可读性的指标——英语脚本还原率和块级脚本一致性——与医学正确性分开报告。  
3. 一种操作化的错误标注方案：当原始ASR保留了相关信息但后处理丢失或改变了它时，标记为后处理引入的错误；当后处理继承了上游ASR错误时，标记为传播的错误。  

## 2. 相关工作  

**代码切换与医学ASR。** 基质语言与嵌入英语之间的代码切换是ASR的已知挑战，尤其是当系统必须在原生脚本转写与英语脚本还原之间做出选择时（Sitaram et al., 2019; Wang et al., 2019; Paik et al., 2025）。医学讲座语音增加了通用训练数据中稀疏的技术术语、缩写词和形态结构。最近的医学ASR工作同样报告，即使一般转录流畅度很高，领域术语仍然困难（Adedeji et al., 2024, 2025）。韩英医学讲座结合了这些问题：句子框架可能是韩语，而许多目标概念通常以英语学习和搜索。  

**LLM后ASR纠正。** 对原始ASR错误的常见应对措施是在转录器之后放置一个语言模型来清理、规范化或纠正转录文本。最近的工作探索了基于LLM的纠正流水线，用于全文语音识别和专门语音场景（Ma et al., 2023; Tang et al., 2025; Zheng et al., 2026）。这类系统可以改善可读性并减少表面噪声，但不受约束的重写阶段也可能进行释义、压缩、替换或产生幻觉。如果评估止步于WER或术语召回率，这种风险很容易被忽视。AI\_LectureNote是这一模式的历史案例：一个面向可读性的LLM重写阶段，其收益与成本可以分别衡量。  

**领域术语还原与规范化。** 技术转录通常受益于上下文偏置、热词列表或动态词汇方法，这些方法鼓励系统保留或规范化领域术语（Sudo et al., 2024a, 2024b）。这些方法为自由形式重写提供了一种更受限的替代方案。它们也澄清了为什么本文使用“英语脚本还原”而非“保留”作为主要可读性指标。当参考术语在输出中以英语/拉丁脚本出现时，即被计数。这特意窄于术语正确性：错误的英语术语仍可能以英语脚本还原，而幻觉的英语术语可能不会直接被召回率惩罚。  

**安全关键的极性与否定错误。** 医学文本对方向性和断言状态敏感。否定、不确定性和极性线索长期以来在临床NLP中被视为一等目标，因为存在与不存在、增加与减少、hypo-与hyper-可能改变医学陈述的含义（Chapman et al., 2001; Uzuner et al., 2011; Peng et al., 2017）。讲座转录文本虽非临床记录，但相同的语言学问题适用于学习材料。一份将低钾血症翻转为高钾血症或省略方向性线索的转录文本不仅仅是不够精致；它传递了不同的主张。为此，极性被标注为与一般语义漂移分开的类别。  

## 3. 系统回顾：AI\_LectureNote  

AI\_LectureNote是一个ASR后处理、生成学习笔记的工作流，其流水线为：  

`音频 → 原始ASR (whisper-1) → 领域感知的LLM后处理 → 学习笔记`  

在原始STT之后，AI\_LectureNote对文本进行操作：它将原始转录文本分块，对异常或不流畅的措辞应用纠正，然后应用一个“英语化”步骤，将医学术语的韩语拼音转写转换为英语/拉丁脚本，同时保持韩语句子使用韩语。因此，目标输出是面向可读性的学习笔记，而非逐字对话转录文本。该工作流可选择从生成的学习笔记构建知识图谱，但此阶段在当前评估中未启用。  

这一设计驱动了忠实度分析。由于后处理阶段是生成性重写而非受限词汇替换，它可以在提升英语脚本还原的同时引入替换、省略、压缩或极性变化。因此，我们将AI\_LectureNote评估为可读性-忠实度权衡，而非原始转录准确性。  

两个历史注意事项对解释很重要。本研究不评估原始生产语料库；而是在四种作者录制讲座上重新运行历史代码，提示和配置不变。whisper-1路径于2026年重新执行，因此不应视为2023年的快照。由于whisper-1可能在内部发生变化，我们报告模型名称和执行日期，但不声称逐字节的历史复现。  

## 4. 初步实验材料与评估设置  

### 4.1 讲座与条件  

本初步研究使用四种韩英医学讲座，由作者专门为此研究录制，均根据松散的AI生成主题大纲即兴演讲，没有预先编写的脚本或源文本。录音中不含患者数据，属于说明性教学内容，其医学准确性未获保证；所有说话者声音来自作者-说话者，他们同意用于研究发布。  

**表1：本初步研究中使用的讲座录音。** 三场讲座构成初始初步实验组；抗癌药物\_02后来作为相同说话者更短的扩展补充加入。  

从相同的音频，我们生成五种输出条件：  
1. 原始whisper-1 —— 历史流水线的原始ASR阶段（whisper-1; Radford et al., 2023），于2026年重新执行，每场讲座的API日期记录在清单中。  
2. AI\_LectureNote —— 将whisper-1输出通过历史AI\_LectureNote后处理（代码不变）。  
3. 原始gpt-4o-transcribe —— OpenAI gpt-4o-transcribe STT前端（gpt-4o-transcribe; OpenAI, 2025），按本研究访问，以3分钟无重叠块进行转录。  
4. 带提示的gpt-4o-transcribe —— 相同分块加上一个韩语提示（“의학 강의 녹음입니다. 영어 의학 용어는 영어로 표기합니다.” —— 即“这是医学讲座录音。英语医学术语用英文书写。”），仅作为初步提示敏感性检查。  
5. gpt4o\_ailn\_post —— 将条件3的原始gpt-4o-transcribe输出通过与条件2相同的AI\_LectureNote后处理阶段。该条件作为跨输入诊断对照，而非优化后的现代流水线。  

为节省空间，某些图表中条件名称缩写：原始gpt-4o-transcribe显示为“gpt-4o raw”，两种后处理条件（AI\_LectureNote和gpt4o\_ailn\_post）显示为“whisper→\rightarrowAILN”和“gpt4o→\rightarrowAILN post”。  

**评估设计。** 四种作者录制讲座被处理成五种输出，并与作者创建的学习笔记参考进行评分。两种后处理条件使用相同的历史AI\_LectureNote重写阶段。  

**图1：评估设计。** 四种作者录制讲座被处理成五种输出，并与作者创建的学习笔记参考进行评分。两种后处理条件使用相同的历史AI\_LectureNote重写阶段。  

### 4.2 参考政策  

参考文档是作者创建的、经过轻度清理、保留内容的学习笔记，而非严格的逐字对话转录文本或独立黄金标准ASR参考。它们保留了医学内容、英语医学术语、极性/方向线索以及医学上不完美的说话者陈述，同时轻度规范化非内容痕迹（如填充词、咳嗽、弃用片段和直接重复结巴），前提是不改变医学主张。因此，CER/WER应相对于学习笔记目标进行解释，而非纯对话ASR准确性。还原与语义/极性分析对填充词和空格不太敏感，但仍依赖于该参考政策。术语规范化通过标注处理，而非编辑参考文档。  

录音和参考文档是用于评估转录和ASR后处理的研究材料；它们不是医学或教育指导，且演讲内容的医学准确性未独立验证。  

## 5. 指标与标注  

### 5.1 指标定义  

归一化与指标定义在分析前即已确定：英文字母统一小写，标点符号映射为空格，空白折叠；极性语素（hypo/hyper, acidosis/alkalosis）永不合并。主要表面指标为CER（字符错误率），计算在去空白字符上（消除韩语空格影响）。WER（词错误率）作为归一化词元的次要指标报告，但对于释义后的学习笔记解释性较差。  

主要可读性指标为英语脚本还原率：选取的参考领域术语出现实例中以英语/拉丁脚本还原的上限召回率。它衡量的是脚本出现，而非还原的术语在正确句子中是否医学正确，并且不直接惩罚幻觉的英语脚本术语，除非通过缺失参考术语来体现。韩语拼音计数是选取的参考领域术语中以韩语拼音/转写脚本出现的总计数，跨讲座求和。  

每场讲座的领域术语列表通过从参考文档中自动提取拉丁脚本术语候选词来初始化。作者整理了保留的术语集、规范英语形式、接受的英语变体以及极性标签。韩语拼音变体通过来自观察到的ASR/STT输出的机器辅助生成，仅用于描述性拼音与缺失的分项统计；未经过彻底验证，可能低估韩语拼音还原。主要英语脚本还原率依赖于规范英语形式和接受的英语变体，而非korean_phonetic字段的完整性。  

块级脚本一致性度量针对分段的gpt-4o条件，报告每3分钟块中还原的选取领域术语词元以英语/拉丁脚本而非韩语拼音脚本出现的比例——即 英语 / (英语 + 拼音) 计算。