标签
DuplexGen 引入了一种自适应合成人机话轮切换对话的方法，解决了对话式 AI 中自然交互时机的挑战。
介绍了Instruct-FD，一个用于评估全双工语音系统能否遵循显式轮换指令的基准。结果显示最佳模型仅达到64.4%的遵从率，凸显了在遵循指令的轮换管理方面存在显著差距。
本文探讨了话轮转换中的沉默阈值如何在人类与AI生成的话语中有所不同，采用远距观看方法分析对话模式。
本文重新审视多方对话中的受话者识别，提出用连续指向级别替代离散标签，并表明指向不仅与话轮转换相关，还涉及目光注视和反馈信号，暗示了层级结构。
提出了一种多模态语音活动预测框架，将仅音频的VAP扩展至视听输入，用于社交机器人的话轮切换预测，采用预训练骨干网络和低秩适应方法。在NoXi和Haru EDR语料库上取得了改进。
TurnNat是一种基于似然的框架，用于自动评估双人对话中的轮流发言自然性，它使用在自然对话上训练的因果轮流发言预测模型，通过负对数似然来测量时间异常性。
一位开发者描述了构建一个多智能体语音社交推理游戏的过程，通过一个中央指挥解决了轮流发言问题，但在共享记忆以及在将对话历史压缩为结构化状态时保留社交潜台词方面遇到了困难。
本文分享了构建实时语音AI代理的宝贵经验，强调了正确的轮流发言、VAD处理、计费意识以及避免回声循环的重要性。
本文评估了大语言模型（LLMs）和多模态大语言模型在多方会议对话中的收件人检测、话轮转换预测和下一说话人预测能力。结果表明，基于文本的LLMs在下一说话人预测上优于监督模型和人类，而多模态LLMs在其他任务上比纯文本模型有所提升，但表现仍低于人类。
BayLing-Duplex是一种原生全双工语音语言模型，使单一自回归大语言模型无需外部VAD模块即可管理轮流发言与打断，实现了高成功率，并相比先前模型提升了回复质量。
本文通过模拟两个Moshi模型实例之间的对话，利用CKA测量表征对齐并使用LSTM探针预测话轮边界，分析了全双工语音对话模型中的同步与话轮转换动态。
When2Speak是一个合成数据集及流程，用于训练LLM在多方对话中决定何时发言。在该数据集上微调显著改善了话轮转换，强化学习将漏干预率从50%降至约20%。