DuplexGen:自适应合成人机话轮切换对话
摘要
DuplexGen 引入了一种自适应合成人机话轮切换对话的方法,解决了对话式 AI 中自然交互时机的挑战。
arXiv:2607.26178v1 Announce Type: new
摘要:话轮切换是全双工交互的核心组成部分。适当的话轮切换行为因场景而异,但当前模型无论上下文如何都采用单一规范。这一局限性源于其训练数据:人人语音语料库捕捉了自然的时序现象,但缺乏角色定位或场景特定规范,而启发式或提示式合成方法虽然注入了话轮切换行为,却未基于人类偏好。我们提出了 DuplexGen,一个通过将 LLM 预测与少量槽位级别的人类偏好标注进行校准来生成具有场景自适应话轮切换对话的框架。在六个协作与竞争任务中,人类的话轮切换偏好存在系统性差异,而 DuplexGen 与这些偏好的一致性明显高于未校准的提示或仅使用通用人人数据进行训练;一个基于 DuplexGen 生成数据训练的全双工模型展现出独特且符合人类偏好的人话轮切换行为。这些结果表明,实现场景特定的话轮切换合成所依赖的是人类校准,而非仅靠语料库规模或提示设计。
查看缓存全文
缓存时间: 2026/07/30 09:56
# DuplexGen:自适应合成人机轮替对话 来源:https://arxiv.org/html/2607.26178 Takyoung Kim¹,Kang-wook Kim²,⁴¹¹footnotemark:1,Sang Hoon Woo²,⁵,Julia Hirschberg³,Gunhee Kim²,Dilek Hakkani-Tür¹ ¹伊利诺伊大学厄巴纳-香槟分校,²首尔大学,³哥伦比亚大学,⁴加州大学伯克利分校,⁵佐治亚理工学院 tk30@illinois\.edu (https://arxiv.org/html/2607.26178v1/[email protected]),kangwook@berkeley\.edu (https://arxiv.org/html/2607.26178v1/[email protected]) ![[未标注图片]](https://arxiv.org/html/2607.26178v1/all-twemojis.pdf) 项目网站:duplexgen\.github\.io (https://duplexgen.github.io/) spacing=nonfrench DuplexGen:自适应合成人机轮替对话 Takyoung Kim¹††感谢:共同贡献。Kang-wook Kim²,⁴¹¹footnotemark:1,Sang Hoon Woo²,⁵,Julia Hirschberg³,Gunhee Kim²,Dilek Hakkani-Tür¹ ¹伊利诺伊大学厄巴纳-香槟分校,²首尔大学,³哥伦比亚大学,⁴加州大学伯克利分校,⁵佐治亚理工学院 tk30@illinois\.edu (https://arxiv.org/html/2607.26178v1/[email protected]),kangwook@berkeley\.edu (https://arxiv.org/html/2607.26178v1/[email protected]) ![[未标注图片]](https://arxiv.org/html/2607.26178v1/all-twemojis.pdf) 项目网站:duplexgen\.github\.io (https://duplexgen.github.io/) ## 参考文献
相似文章
继续、适应或让步:全双工代理中对重叠语音的轮内适应
论文介绍了Duplex Cue,一个评估全双工语音代理轮内适应的框架,通过比较人类和模型对重叠语音的反应。
Duplex-MPE: 全双工对话中的多方交互基准测试
本文介绍了Duplex-MPE,一个用于评估AI助手在多方全双工对话中的基准,包含2000个场景,评估模型在响应启动、准确性和静默保持方面的表现。
将轮次转换与语义解耦:基于有限状态机的全双工对话的解耦数据方法
本文提出一种解耦数据方法,通过从真实口语对话中学习轮次转换,同时利用文本处理语义,借助神经有限状态机框架来增强自然性并保留语义能力。
DuplexDrama:一个包含场景、全双工行为、表现力语音和声音事件的合成对话数据集
DuplexDrama 是首个合成口语对话数据集,涵盖人物角色、场景、全双工行为、表现力语音和声音事件,旨在通过超过 2,000 小时的音频数据推动全双工对话模型研究。
SteerDuplex: 可控双工语音对话模型
本文介绍了SteerDuplex,一个具有可控属性(如语气和个性)的全双工语音对话模型,并提出了SteerBench用于评估语音可控性,展示了使用强化学习相比基线的改进。