TurnBench：一个用于口语对话中话轮转换动态的多领域基准测试（阅读时长25分钟）

# TurnBench：面向语音对话中轮次转换动态的多领域基准测试
来源：https://arxiv.org/html/2608.25218
Freeman Jiang1, Ramon Sanabria1, Soham Deshmukh1, Bandhav Veluri1, Simon Michael Vuch Williams2, Elliott K\. Suen2, Garreth Lee2, Kevin Yoonho Choi2, Takuya Umeki6, Riku Kubo6, Sathvik Udupa7, Chien\-yu Huang3, Shih\-Yun Shan Kuan4, Zhuoyan Tao3, Satyapriya Krishna1, Sefik Emre Eskimez1, Yu Tsao5, Hung\-yi Lee4, Shinji Watanabe3所属机构：1Sesame AI 2Mundo AI 3卡内基梅隆大学 4台湾大学 5中央研究院 6Oto 7布尔诺理工大学

###### 摘要

自然对话中的说话者通过轮流发言和倾听，实时决定何时接话、保持发言权或让出发言权。然而，由于缺乏统一的、基于语言学的评估协议，以及缺乏覆盖多样化对话类型的人工标注数据，轮次转换的评估仍然受到限制。为解决这一问题，我们提出了**TurnBench**，一个将30小时人工标注的双人对话语料库与用于回合结束和打断检测的标准化评估协议相结合的多领域基准测试。我们将对话类型设为可控的实验变量，涵盖六种不同的交互风格，并对每段对话进行三重标注。通过基准测试14个不同的轮次转换系统，我们发现回合结束的召回率在不同对话类型中保持稳定，而打断的误报率则强烈依赖于对话类型，并集中在回溯丰富的交互风格中。尽管在顺畅的发言权交接中，人类听者通常会在当前发言结束前约151毫秒开始说话，但目前没有任何系统能在不产生过多误报的情况下达到同等性能。我们发布了我们的语料库、一个104小时的训练集，以及一个包含交互式数据查看器的公开排行榜，地址为turnbench.sesame.com (https://turnbench.sesame.com/)。

###### 索引关键词：

轮次转换、回合结束检测、打断检测、语音对话、基准测试

## I 引言

在语音对话中，说话者通过轮次转换不断导航对话的发言权。对话者通过语言和韵律线索发出信号，表明他们是打算开始、继续还是让出一轮发言，同时产出回溯并管理重叠发言[1 (https://arxiv.org/html/2608.25218#bib.bib1)]。语音对话研究长期以来一直在研究这些现象[2 (https://arxiv.org/html/2608.25218#bib.bib2)]，将其分解为离散任务，如回合结束检测[3 (https://arxiv.org/html/2608.25218#bib.bib3)]、打断处理以及回溯预测[4 (https://arxiv.org/html/2608.25218#bib.bib4),5 (https://arxiv.org/html/2608.25218#bib.bib5)]。然而，这些轮次转换现象的特征在于同一前导语音中存在重叠线索[6 (https://arxiv.org/html/2608.25218#bib.bib6),7 (https://arxiv.org/html/2608.25218#bib.bib7)]。因此，这些任务是相互关联的，应该在单一的对话标注基础上进行定义和评分，而不是孤立地进行。

全双工语音对话模型[8 (https://arxiv.org/html/2608.25218#bib.bib8),9 (https://arxiv.org/html/2608.25218#bib.bib9)]现在已经能够隐式地协商发言权，但它们并未暴露直接的轮次转换决策。目前尚无公开资源可用于跨对话类型的全双工轮次转换评估。大型未转录语料库是为合成训练而构建的，没有轮次转换标注[10 (https://arxiv.org/html/2608.25218#bib.bib10)]，而已标注的语料库各自仅覆盖单一语体[11 (https://arxiv.org/html/2608.25218#bib.bib11),12 (https://arxiv.org/html/2608.25218#bib.bib12),13 (https://arxiv.org/html/2608.25218#bib.bib13),14 (https://arxiv.org/html/2608.25218#bib.bib14),15 (https://arxiv.org/html/2608.25218#bib.bib15),16 (https://arxiv.org/html/2608.25218#bib.bib16),17 (https://arxiv.org/html/2608.25218#bib.bib17),18 (https://arxiv.org/html/2608.25218#bib.bib18),19 (https://arxiv.org/html/2608.25218#bib.bib19),20 (https://arxiv.org/html/2608.25218#bib.bib20),21 (https://arxiv.org/html/2608.25218#bib.bib21),22 (https://arxiv.org/html/2608.25218#bib.bib22),23 (https://arxiv.org/html/2608.25218#bib.bib23),24 (https://arxiv.org/html/2608.25218#bib.bib24),25 (https://arxiv.org/html/2608.25218#bib.bib25),26 (https://arxiv.org/html/2608.25218#bib.bib26)]（第II节，表I）。

参见图例 Fig\. 1：TurnBench 评估的轮次转换事件，针对两位说话者（S1, S2）。虚线是人工标注的黄金事件。实线是模型发出的事件，其中实线评分窗口内的是真阳性（绿色），虚线评分窗口内的是假阳性（红色）。图中有两个成功检测，以及两个假阳性，分别出现在*轮次内停顿*和*回溯*期间。评估也存在类似问题。虽然存在全双工基准测试[27 (https://arxiv.org/html/2608.25218#bib.bib27),28 (https://arxiv.org/html/2608.25218#bib.bib28),29 (https://arxiv.org/html/2608.25218#bib.bib29)]，但它们各自以独特的方式定义回溯、填充词和打断，且这些定义并未根植于语言会话分析。因此，跨基准测试比较系统变得困难[30 (https://arxiv.org/html/2608.25218#bib.bib30),31 (https://arxiv.org/html/2608.25218#bib.bib31)]，因为报告的改进可能仅仅是标注惯例的产物。

我们引入了TurnBench[111 公开排行榜、开发集评分和交互式对话查看器：https://turnbench.sesame.com/]来解决这两个问题。该基准测试包含在六种对话类型之间平衡的双人对话，标注了基于会话分析[1 (https://arxiv.org/html/2608.25218#bib.bib1),32 (https://arxiv.org/html/2608.25218#bib.bib32),33 (https://arxiv.org/html/2608.25218#bib.bib33)]的事件类别，以及一个统一的协议，该协议可以在相同的标注上对不同的系统实现进行评分。我们的贡献包括：

- • 一个30小时的双通道双人语音语料库（154段对话，106位配音演员，组成53对），在六种交互类型之间平衡分布，使用基于分析、细致且可靠的分类法进行三重标注（Fleiss κ=0.78），并附带说话者元数据发布。
- • 一个104小时的手工标注训练集，遵循相同的协议进行标注。
- • 一个网络平台[111](https://arxiv.org/html/2608.25218#footnote1)，包含公开排行榜、开发集上的自助评分以及一个对话查看器，允许检查标签和预测并进行音频回放。
- • 一个统一的回合结束和打断检测协议。我们用它来基准测试14个系统，包括基于规则的检测器、提示式全双工模型、语义和编解码端点检测器[34 (https://arxiv.org/html/2608.25218#bib.bib34)]、语音活动预测[35 (https://arxiv.org/html/2608.25218#bib.bib35),31 (https://arxiv.org/html/2608.25218#bib.bib31)]和一个监督预测器[30 (https://arxiv.org/html/2608.25218#bib.bib30)]。
- • 对14个开源和闭源系统的按类型分析。回合结束召回率在不同对话类型中大致保持恒定，而打断的误报率则依赖于对话类型，在回溯常见的随意对话中最为频繁。最强的系统VAP，在回合结束检测上达到0.845的召回率，中位延迟368毫秒；在打断检测上达到0.945的召回率，中位延迟994毫秒。

## II 相关工作

我们的标注分类法基于会话分析，该分析识别了*转换相关点*（TRPs），这是说话者切换的合法结构点[1 (https://arxiv.org/html/2608.25218#bib.bib1),32 (https://arxiv.org/html/2608.25218#bib.bib32)]，以及*回溯*，即听众表示关注但不主张发言权的发声[33 (https://arxiv.org/html/2608.25218#bib.bib33),36 (https://arxiv.org/html/2608.25218#bib.bib36)]。我们采纳了这两个定义。

表I：对话语料库和轮次转换基准测试的比较。DA = 对话行为，BC = 回溯，EOT = 回合结束，FT = 发言权转换，INT = 打断，Disfl = 不流畅。Reg\. = 语体（对话类型）数量。Ling\. = 基于语言学的标注方案。Eval\. = 包含模型评估（O = 开源，C = 闭源）。
资源 | 标注内容 | 小时数 | Reg\. | Ling\. | Eval\.
--- | --- | --- | --- | --- | ---
Switchboard[17] | 轮次, DA, Disfl, 韵律 | ∼260 | 1 | ✗ | ✗
Switchboard NXT[37] | + 语法, 共指, 言语行为 | ∼260 | 1 | ✓ | ✗
Fisher[18] | 转录文本 | ∼1960 | 1 | ✗ | ✗
Map Task[19] | DA, 轮次 | ∼18 | 1 | ✓ | ✗
AMI[20] | DA, 轮次, 摘要 | ∼100 | 1 | ✓ | ✗
ICSI[21] | DA (MRDA) | ∼72 | 1 | ✓ | ✗
Santa Barbara[22] | 转录文本, 韵律 | ∼20 | 1 | ✓ | ✗
CHiME\-5[23] | 转录文本 | ∼50 | 1 | ✗ | ✗
DiPCo[25] | 转录文本 | ∼5 | 1 | ✗ | ✗
NOTSOFAR\-1[24] | 转录文本, 说话人日志 | ∼30 | 1 | ✗ | ✗
DRAL[38] | 交互风格 | ∼2 | 1 | ✗ | ✗
EdAcc[26] | 转录文本 | ∼40 | 1 | ✗ | ✗
CANDOR[11] | 转录文本, 轮次模型 | ∼850 | 1 | ✗ | ✗
SSSD[12] | 转录文本 | ∼727 | 1 | ✗ | ✗
CASPER[13] | 转录文本 | ∼100 | 1 | ✗ | ✗
otoSpeech[10] | 无 | 280 | - | ✗ | ✗
FDB\-v1[27] | BC, 轮次, 停顿, INT | <<1 | 1 | ✗ | O
FDB\-v2[28] | 轮次流畅性, 任务 | - | 4 | ✗ | O
FDB\-v3[29] | Disfl (5 类型), 工具使用 | - | 4 | ✗ | O+C
Talking Turns[30] | BC, EOT, 轮次变更 | - | † | 1 | ✗ | O+C
TurnBench (ours) | BC, EOT, FT, INT | 30 | 6 | ✓ | O+C
† 在 Switchboard 的保留子集上评估。

评估框架存在一个相关的局限性：它们的类别并非源自于促使所研究现象的会话分析定义。Full\-Duplex\-Bench 系列[27 (https://arxiv.org/html/2608.25218#bib.bib27),28 (https://arxiv.org/html/2608.25218#bib.bib28),29 (https://arxiv.org/html/2608.25218#bib.bib29)]推进了可重现的全双工评估，但其回溯、填充词和打断的定义比细致轮次转换所需更宽泛。Talking Turns[30 (https://arxiv.org/html/2608.25218#bib.bib30)]的评估更紧密，但仅覆盖单一语体（电话），其评估的模型在回溯上的表现接近随机，且没有一个能可靠地检测回合结束。TurnBench 将其分类法建立在会话分析[1 (https://arxiv.org/html/2608.25218#bib.bib1),36 (https://arxiv.org/html/2608.25218#bib.bib36)]的基础上，覆盖六种对话类型，并通过统一的评估协议实现异构系统的直接比较（表I）。

## III 语料库构建

我们围绕一个核心假设构建 TurnBench：对话*类型*（例如，随意、争论性）是一个可在录音时设定的可操控变量，它会从人类（第IV节）和系统（第VII节）那里引出可测量的不同行为。这激发了我们评估中的按类型分解（第V节）。

### III-A 对话类型

每个录音会话被分配六种对话类型之一，描述其主导的交互风格，遵循交互风格文献[38 (https://arxiv.org/html/2608.25218#bib.bib38),36 (https://arxiv.org/html/2608.25218#bib.bib36)]。

- • 随意：非结构化的社交谈话，话题漂移，幽默，且多回溯。
- • 任务导向：目标导向的交流，包含澄清。
- • 指导性：专家指导学习者（不对称轮次，确认性回溯）。
- • 协作性：共享推理，无固定答案（频繁重叠和合作性打断）。
- • 争论性：结构化分歧（较长轮次，较少回溯，竞争性打断）。
- • 叙事性：一位说话者向积极的倾听者讲述故事（回溯，较少发言权竞争）。

语料库在类型间大致平衡（每种类型占13–21%）。

### III-B 事件分类法

标注员根据基于会话分析文献[1 (https://arxiv.org/html/2608.25218#bib.bib1),32 (https://arxiv.org/html/2608.25218#bib.bib32),33 (https://arxiv.org/html/2608.25218#bib.bib33)]的17个细粒度类别清单，标注时间定位的事件。为了评估，这些细粒度标签被合并为七个*典型*类别（表II）。细粒度标注在发布数据中得以保留。

表II：典型事件分类法及其从17个细粒度标注员标签的映射。
典型类别 | 定义 | 来源细粒度标签
--- | --- | ---
轮次 | 主张或保持发言权，包括重叠的保持发言权语音。 | 正常轮次⋅⋅ 强发言权保持⋅⋅ 有界回应⋅⋅ 填充词⋅⋅ 重叠
打断 | 听众在当前说话者轮次中途通过发声夺取发言权。 | 夺取发言权的竞争性打断⋅⋅ 夺取发言权的合作性打断
非夺取发言权的打断 | 试图打断但未夺取发言权，在开始时无法与打断区分。 | 非夺取发言权的竞争性打断⋅⋅ 非夺取发言权的合作性打断
回溯 | 不主张发言权的听众发声，无论持续时间。 | 确认回溯⋅⋅ 延续回溯⋅⋅ 反应回溯
笑声 | 笑声。 | 笑声
尴尬沉默 | 交互中未处于轮次时的显著沉默。 | 尴尬沉默
非内容 | 非语音或非语言音频。 | 非语音噪声⋅⋅ 通道串扰⋅⋅ 语音，非语言

### III-C 录制协议

所有会话均在专业录音室进行，说话者位于独立的隔音隔间内，使用多模式电容麦克风以48 kHz/32位进行录制。导演和音响工程师全程在场。任何未达到最低质量门槛的录音在标注前被丢弃，发布的音频为每个说话者的FLAC格式。

### III-D 会话与参与者

语料库包含约30小时的双通道语音，涵盖154段对话（平均时长约11.7分钟），由106位配音演员录制，组成53对（尽可能预先相识）。每个会话开始时有2-3分钟未录制的热身，期间设定对话类型和起始话题，必要时包括参与者角色（例如，指导性中的解释者和学习者）。说明从不提及任何细致的轮次转换行为，如打断、回溯和重叠，也不涉及更广泛的个性指导，如主导或让步。录音开始后不再给出进一步说明，话题可以自由漂移。发布内容包括每位说话者的性别和一个匿名标识符。

### III-E 标注流程

音频通过语音活动检测分割为候选段落，并提供自动转录文本作为参考（标注员在冲突时以音频为准）。每个段落在上下文中进行审查，由三位独立标注员在单次通览中为其标注一个细粒度标签（表II），不重新标记先前会话。