全双工 vs 半双工——AI语音模型的频谱 [D]

构建语音AI似乎有两种方式：半双工：严格的轮流发言。你说话时，对方等你说完，一次只允许一个方向的语音。← 这是当今几乎所有语音助手的工作方式。全双工：两个通道，双方可以随时交谈——不再需要等待你的“轮次”。← 这是人类实际交谈的方式。事实上，半双工语音模型无法真正做三件关键的事情：* 重叠——同时说话和倾听而不会崩溃 * 反馈——在对方还在说话时插入的“嗯”、“对”和“是” * 打断——在句子中间被打断并优雅地恢复。这三个特性是语音助手至今仍然感觉“机械”的重要原因。但半双工到全双工之间的频谱到底是什么？Moshi风格的架构是实现全双工自然语音对话的唯一途径吗？半双工系统有哪些方式可以模仿全双工？很乐意听到其他人的想法。