自动化演讲辅导综述：系统、方法与开放挑战

# 自动演讲辅导综述：系统、方法与开放挑战
来源：https://arxiv.org/html/2606.27380
文良¹˒²，李思言¹，Zackary Rackauckas³，Julia Hirschberg¹  
¹美国哥伦比亚大学，²美国红帽公司，³美国RoleGaku  
{wl2904, siyan.li, zcr2105}@columbia.edu, [email protected]

###### 摘要

口头演讲的自动辅导处于计算机辅助发音训练（CAPT）、韵律建模和语音合成的交叉领域，然而尚无前期工作系统地调研并比较这些维度上的现有系统。本综述回顾并分类了自动演讲辅导系统，涵盖发音导师、流畅度与韵律教练、多模态训练器以及会议问答练习工具。我们引入了一个五维任务分类法——涵盖音段发音、词汇重音、超音段韵律、语速和内容忠实度——并将调研的系统明确映射到该分类法上，以揭示覆盖空白。我们进一步回顾了这些系统采用的核心技术方法：基于TTS的范例生成方法以及用于发音、韵律和流畅度评估的诊断方法。主要开放挑战包括：标注演讲语料库的稀缺、在不同母语背景下实现口音公正的反馈，以及为实时排练提供低延迟诊断。

---

# 自动演讲辅导综述：系统、方法与开放挑战

文良¹˒²，李思言¹，Zackary Rackauckas³，Julia Hirschberg¹  
¹美国哥伦比亚大学，²美国红帽公司，³美国RoleGaku  
{wl2904, siyan.li, zcr2105}@columbia.edu, [email protected]

## 1 引言

英语口头演讲（包括技术讲座、研究研讨会和产品演示）的要求远高于日常对话。演讲者必须准确发音专业术语，根据幻灯片转场控制语速，并调节韵律以使话语结构对听众清晰。对于英语作为第二语言（ESL）的演讲者，这些要求因以下因素而加剧：将母语语音模式带入英语的倾向、口音特定的韵律模式，以及有限的真实排练机会（Munro 和 Derwing 1995；Derwing 和 Munro 2005）。

过去二十年，对口头演讲*自动辅导*的兴趣日益增长，这得益于计算机辅助发音训练（CAPT）（Witt 和 Young 2000；Cucchiarini 等人 2009）、神经文本转语音（TTS）（Chen 等人 2024；Ren 等人 2021）和多模态分析（Baltrušaitis 等人 2019）的进步。诸如 Rhema（Tanveer 等人 2015）、Mirror Mirror（Schneider 等人 2015）和最近的LLM增强型问答教练（Aiba 等人 2024）等系统，各自针对演讲技能的不同方面。然而，该领域目前缺乏统一的综述，以（a）编录并比较这些系统，（b）明确它们处理了哪些演讲维度，以及（c）揭示仍然存在的问题。

本文填补了这一空白。我们综述了口头演讲的自动辅导系统，重点关注基于语音的维度：发音、词汇重音、韵律、语速和内容忠实度。我们的范围涵盖针对L2的专用工具和通用公共演讲工具，因为许多技术可以跨这些场景迁移。我们特意搁置了视觉和手势辅导（Schneider 等人 2015；Damian 等人 2015），除非它们与语音反馈集成，并且我们不打算涵盖通用ASR或口语评估的完整文献。

**贡献。**具体而言，本综述：（1）为演讲辅导引入了一个五维任务分类法，并将调研系统映射到其上以揭示覆盖空白；（2）系统性地回顾并分类了现有的自动演讲辅导系统；（3）回顾了支撑这些系统的核心技术方法——基于TTS的范例生成和诊断方法；（4）讨论了语料库、口音公平性、实时部署以及研究与产业实践差距方面的开放挑战。

**文献检索策略。**为确保全面覆盖，我们在ACL Anthology、IEEE Xplore、ISCA Archive、Google Scholar和Semantic Scholar上进行了系统检索，使用包含“presentation coaching”、“pronunciation training”、“CAPT”、“prosody assessment”、“speech fluency”、“TTS coaching”和“L2 speaking”等术语的查询组合。我们纳入了1997年至2025年间经过同行评审、直接涉及自动辅导或评估口头演讲或口语技能的出版物。我们通过关键论文（Witt 和 Young 2000；Golonka 等人 2014；Aiba 等人 2024）的引用补充了基于关键词的搜索，并遵循既定的综述方法论（Frederick Eneye 等人 2025）。专注于视觉或手势辅导且不含语音成分的研究被排除，通用ASR或TTS论文也被排除。此过程产生了15个代表性系统和大约50个支撑参考文献，涵盖CAPT、韵律建模、TTS和教育技术。

**组织结构。**第2节回顾了基础技术。第3节提出了五维任务分类法，该分类法组织了论文剩余部分，以及将分类法与实用辅导工作流联系起来的系统输入、输出和操作模式。第4节调研了现有系统并将其映射到分类法上。第5节回顾了这些系统采用的核心技术方法。第6节涵盖了数据集和评估。第7节讨论了剩余的开放问题和未来方向，包括研究与产业部署之间的差距。第8节进行总结。

## 2 背景：基础技术

我们简要回顾支撑自动演讲辅导的核心技术：发音评估、韵律分析、影子练习教学法和神经TTS。诊断和合成方法的详细讨论见第5节。

**计算机辅助发音训练（CAPT）。**CAPT系统使用发音良好度（GOP）分数（Witt 和 Young 2000）或ASR置信度测量（Cucchiarini 等人 2009）来定位音段错误。早期方法依赖HMM强制对齐（Rabiner 1989；Franco 等人 1997）；现代系统利用CTC（Graves 等人 2006；Cao 等人 2024）和自监督表示（Baevski 等人 2020；Hsu 等人 2021）进行无对齐发音错误检测（Xu 等人 2021；Gong 等人 2022）。这些方法构成了大多数发音辅导系统的诊断核心。

**韵律分析。**有效的演讲利用韵律（语调、分句、节奏）来标记结构（Hirschberg 2004）。听众印象研究（Shoda 等人 2023）证实，即使微小的音高和时机调整也会显著影响感知到的演讲者能力。评估通常比较学习者和参考话语之间的对数F₀轮廓和时长模式（Sakoe 和 Chiba 1978；Rosenberg 2010）。

**影子练习教学法。**基于范例的影子练习（模仿）已被确立为改善L2发音、韵律和流畅度的有效方法（Hori 2008；Kadota 2019；Hamada 2018）。当模仿简短的听觉示范并明确关注语速和突显时，学习者在时机、重音和语调方面会得到改善（Hsieh 等人 2013）。这种教学法直接推动了使用TTS生成可控、可调整的范例，以便大规模进行辅导。

**神经文本转语音（TTS）。**最近的非自回归流匹配TTS模型（例如F5-TTS（Chen 等人 2024）、Voicebox（Le 等人 2023）、CosyVoice 2（Du 等人 2024））能够合成高度自然的语音，且实时因子低于1。这些系统提供了对语速、暂停插入和重音的精细控制，非常适合生成辅导范例。基于简短注册片段的零样本风格迁移可实现个性化参考（Jia 等人 2018；Casanova 等人 2022）。

## 3 演讲辅导分类法

基于上述基础技术，我们为自动演讲辅导形式化了一个五维分类法。该分类法根据反馈所需性质以及可用于评估的方法来组织演讲技能，为比较现有系统和识别覆盖空白提供了系统性框架。图1展示了该结构。

![图1：自动演讲辅导的五维分类法。现有系统（表1）覆盖不同的子集；词汇重音和内容忠实度是覆盖最少的维度。](https://arxiv.org/html/2606.27380/figures/taxonomy.png)

### 3.1 分类法维度

我们定义每个维度、其评估方法以及能产生的反馈类型；第4节将全部调研系统映射到这些维度上，表1提供了完整映射。

**发音（音段）**涵盖音素和单词级别的正确性，包括显著元音/辅音对比和技术术语。评估依赖GOP（Witt和Young 2000）、基于CTC的方法（Cao等人 2024）或自监督方法（Xu等人 2021）；该维度的反馈会识别前k个错误音素。这是文献中处理最广泛的维度。

**词汇重音**处理多音节词（例如*AL-go-rithm*）中的音节突显度。反馈会指出错误的重音位置并提出重新重音练习建议。尽管其对可理解性的影响已有充分记载（Munro和Derwing 1995），但现有系统几乎完全忽略了这一维度（Korzekwa等人 2021）。

**韵律（超音段）**包括语调（F₀）、分句、节奏和强度轮廓，这些标记话语结构。反馈通常包括相对于参考的F₀均方根误差（RMSE）和皮尔逊相关系数r。多个系统以不同粒度处理韵律。

**语速**涵盖每分钟单词数（WPM）、发音速率以及与标点符号和幻灯片边界相关的暂停位置。反馈会突出WPM偏差和暂停统计。

**内容忠实度**测量关键内容的覆盖情况，无插入或遗漏，并标出每张幻灯片中缺失的关键词。通过向ASR提供幻灯片中预期的技术术语列表，可帮助其正确转录通用模型可能遗漏的领域特定词汇。这是文献中处理最少的维度。

### 3.2 输入、输出和假设

除了五个辅导维度外，系统在输入要求和输出粒度上也存在差异，每种输入-输出模式都与特定的分类法维度相关。在**输入**侧，针对*发音*和*词汇重音*维度的系统至少需要文本转录和学习者录音，以进行强制对齐（Witt和Young 2000；Neri等人 2002；Strik等人 2009；Xu等人 2021）。处理*韵律*和*语速*的系统额外假设拥有与幻灯片对齐的脚本及章节边界，以进行话语级分析（Hincks 2005；Chen等人 2014；Schneider等人 2015）。针对*内容忠实度*的系统需要参考幻灯片内容以进行关键词匹配。支持跨任何维度进行个性化范例的系统可能进一步接受简短的注册片段以进行语音克隆（Jia等人 2018；Casanova等人 2022）。

在**输出**侧，反馈粒度直接映射到分类法。*发音*和*词汇重音*系统产生每词或每音素的错误标记（Witt和Young 2000；Cao等人 2024；Korzekwa等人 2021）。*韵律*和*语速*系统报告全局分数，如F₀偏差、发音速率和暂停频率（Shen等人 2021；Saito等人 2023）。*内容忠实度*系统标出每张幻灯片中缺失的关键词和WER（Aiba等人 2024）。多模态训练器还输出凝视和手势的行为反馈（Schneider等人 2015；Damian等人 2015；Ramanarayanan等人 2015）。在这些系统中，文本规范化、字形到音素转换以及强制或基于CTC的对齐是标准预处理步骤，而学习者的音标通常由系统从声学信号中估计。