DuplexGen:自适应合成人机话轮切换对话
摘要
DuplexGen 引入了一种自适应合成人机话轮切换对话的方法,解决了对话式 AI 中自然交互时机的挑战。
arXiv:2607.26178v1 Announce Type: new
摘要:话轮切换是全双工交互的核心组成部分。适当的话轮切换行为因场景而异,但当前模型无论上下文如何都采用单一规范。这一局限性源于其训练数据:人人语音语料库捕捉了自然的时序现象,但缺乏角色定位或场景特定规范,而启发式或提示式合成方法虽然注入了话轮切换行为,却未基于人类偏好。我们提出了 DuplexGen,一个通过将 LLM 预测与少量槽位级别的人类偏好标注进行校准来生成具有场景自适应话轮切换对话的框架。在六个协作与竞争任务中,人类的话轮切换偏好存在系统性差异,而 DuplexGen 与这些偏好的一致性明显高于未校准的提示或仅使用通用人人数据进行训练;一个基于 DuplexGen 生成数据训练的全双工模型展现出独特且符合人类偏好的人话轮切换行为。这些结果表明,实现场景特定的话轮切换合成所依赖的是人类校准,而非仅靠语料库规模或提示设计。
查看缓存全文
缓存时间: 2026/07/30 09:56
# DuplexGen:自适应合成人机轮替对话 来源:https://arxiv.org/html/2607.26178 Takyoung Kim¹,Kang-wook Kim²,⁴¹¹footnotemark:1,Sang Hoon Woo²,⁵,Julia Hirschberg³,Gunhee Kim²,Dilek Hakkani-Tür¹ ¹伊利诺伊大学厄巴纳-香槟分校,²首尔大学,³哥伦比亚大学,⁴加州大学伯克利分校,⁵佐治亚理工学院 tk30@illinois\.edu (https://arxiv.org/html/2607.26178v1/[email protected]),kangwook@berkeley\.edu (https://arxiv.org/html/2607.26178v1/[email protected]) ![[未标注图片]](https://arxiv.org/html/2607.26178v1/all-twemojis.pdf) 项目网站:duplexgen\.github\.io (https://duplexgen.github.io/) spacing=nonfrench DuplexGen:自适应合成人机轮替对话 Takyoung Kim¹††感谢:共同贡献。Kang-wook Kim²,⁴¹¹footnotemark:1,Sang Hoon Woo²,⁵,Julia Hirschberg³,Gunhee Kim²,Dilek Hakkani-Tür¹ ¹伊利诺伊大学厄巴纳-香槟分校,²首尔大学,³哥伦比亚大学,⁴加州大学伯克利分校,⁵佐治亚理工学院 tk30@illinois\.edu (https://arxiv.org/html/2607.26178v1/[email protected]),kangwook@berkeley\.edu (https://arxiv.org/html/2607.26178v1/[email protected]) ![[未标注图片]](https://arxiv.org/html/2607.26178v1/all-twemojis.pdf) 项目网站:duplexgen\.github\.io (https://duplexgen.github.io/) ## 参考文献
相似文章
继续、适应或让步:全双工代理中对重叠语音的轮内适应
论文介绍了Duplex Cue,一个评估全双工语音代理轮内适应的框架,通过比较人类和模型对重叠语音的反应。
将轮次转换与语义解耦:基于有限状态机的全双工对话的解耦数据方法
本文提出一种解耦数据方法,通过从真实口语对话中学习轮次转换,同时利用文本处理语义,借助神经有限状态机框架来增强自然性并保留语义能力。
DuplexDrama:一个包含场景、全双工行为、表现力语音和声音事件的合成对话数据集
DuplexDrama 是首个合成口语对话数据集,涵盖人物角色、场景、全双工行为、表现力语音和声音事件,旨在通过超过 2,000 小时的音频数据推动全双工对话模型研究。
通过通用风格感知全双工框架实现主动语音轮换
本文提出了一种通用风格感知全双工框架,包含一个轻量级的轮换控制器LPS-TC;引入了一个大规模数据集WildTurn,用于真实世界对话;并提出了一种两级评估方案,以增强对话系统中的主动语音交互和响应质量。
全双工语音对话模型中的同步与话轮转换
本文通过模拟两个Moshi模型实例之间的对话,利用CKA测量表征对齐并使用LSTM探针预测话轮边界,分析了全双工语音对话模型中的同步与话轮转换动态。