标签
TurnTurk-GPT 是一种基于文本的土耳其语话轮交替预测模型,通过使用 TurnGPT 目标对土耳其语 GPT-2 模型进行微调而构建。它的表现优于多语言话轮结束检测器,并能在句末动词的形态中识别土耳其语的话轮结束线索。
论文提出“主动性向量”(initiative vector),这是一个无需训练即可从全双工语音语言模型自身的残差流中提取的单一方向,用于读取和调控模型的抢话/让话决策,并通过参考录音实现说话人轮替风格的迁移。
实践者分享构建电话语音AI代理的核心瓶颈并非模型能力,而是轮次切换时机:单靠VAD静音检测会导致打断或迟钝,改用STT置信度与部分转录文本的语义线索来判断发言是否结束效果更好。
发布开源权重的 ASR 模型 TYGER,集成全双工轮流控制,可检测用户说完、打断及语气词,中位端点延迟 250 毫秒;配套语音 Agent tyger-s2s 仅需一块 32 GB GPU 即可运行最多 4 路对话。
该论文提出 PeopleMakingConversation 基准,通过 176 段非脚本对话中的 427 个停顿点和 482 个话轮结束点,评估六个实时语音系统在何时开口、延迟、回复长度与对话记忆等方面的自然对话表现,并公开数据与评测框架。
一位从业者反思语音智能体为何总是打断来电者,指出真正的元凶往往是 VAD 设置误读了背景噪声,而非 STT 延迟;调整静音阈值会改变智能体给人的拟人感。
作者讨论了 JEV 这类决策模型在 VoiceAgent 中的新可能性,认为其在轮次切换检测上非常精准,并列举了若支持判断用户是否说完、是否打断、情绪识别、是否拒绝识别及是否调用工具等能力,可显著提升语音助手体验,甚至无需端到端模型。
这篇论文提出了一套自动化流程,用于从分离声道录音的自发对话中提取对话轮次与反馈语(backchannels),在99段丹麦语对话上评估得到约0.62的F1分数,可作为半自动标注流程中的一致性初步标注。
作者分享为电话语音机器人调优对话轮替(turn-taking)的经验:单靠 VAD 静音阈值不够,需结合 STT 的部分文本判断句子是否完整,再配合 TTS 延迟一起调试,才能让机器人响应更自然。
FD-VAD 提出一种无需 ASR、流式运行的语义端点检测方法,将因果音频窗口直接映射为 Continue/Stop 决策,适用于全双工语音智能体。该方法结合冻结的语音编码器与参数高效适配的语言模型,在 TurnBench 上取得了最先进(state-of-the-art)的 EOT 召回率。
论文介绍了TACT,一个用于评估全双工口语对话模型中话轮转换的基准,它使用基于意图条件的连续评分来替代二元规则,展示了与人类判断更好的一致性。
本文评估了全双工语音模型在决定何时发言方面的能力,发现像Moshi和PersonaPlex这样的模型主要响应被提及或沉默,而不是内容驱动的触发器,如错误声明或危险,从而识别出内容理解上的差距。
TurnBench介绍了一个多领域基准测试,用于评估口语对话中的话轮转换动态,特点是拥有手工标注的语料库和标准化的评估协议,用于检测话轮结束和中断。
本文提出利用从大型语言模型派生的语义不确定性来预测口语对话中话轮转换的相关位置,在对话系统中展示了优于基线的性能。
本文提出一种解耦数据方法,通过从真实口语对话中学习轮次转换,同时利用文本处理语义,借助神经有限状态机框架来增强自然性并保留语义能力。
本文提出了一种多任务学习方法,通过利用轮次交替动态来增强多方对话中的意图识别,其性能优于忽略交互模式的现有方法。
一篇关于 AI 语音代理难以应对现实客户行为(如打断、自我纠正和句中改变话题)的观察文章,指出话轮转换是企业级语音 AI 面临的关键挑战。
This paper introduces X2-Turn, a frame-synchronous dual-head model that jointly performs streaming ASR and turn state prediction on shared representations, improving turn-taking accuracy and latency in spoken dialogue systems.