语音AI架构讨论

大家好，我最近一直在尝试语音代理，并且总是回到一个似乎非常基本的权衡：延迟与控制。如果你构建传统的管道：Speech → ASR → LLM → TTS → Speech，你会获得很多控制权。在每个组件之间都有文本，因此你可以注入上下文、过滤响应、执行策略、记录所有内容、调用工具、切换模型等。问题在于延迟。即使每个组件都相对较快，你也在堆叠多个步骤。而且语音比聊天更不容忍延迟。在文本对话中，2秒的停顿不算什么。但在电话通话中，2秒的停顿会感觉异常长。端到端的语音到语音模型解决了这个问题的大部分。音频输入 → 音频输出。延迟差异可能相当显著，对话开始感觉更自然。但这样你就失去了之前拥有的许多控制层面。这对于实际的客户服务代理来说似乎尤其成问题。例如，我可能希望代理：识别客户，拉取他们的订单，检查退款政策，调用API，决定是否允许退款，处理它，记录发生了什么，必要时升级。使用级联系统，我几乎可以检查/控制每一步。使用端到端语音到语音，我获得了更好的对话延迟，但我可以可靠干预的地方减少了。微调端到端模型似乎是一个可能的答案，但这样你会增加训练成本和更多的工程复杂性。我还看到人们尝试用诸如“嗯，让我为你查一下...”或工具运行时的打字/背景声音来隐藏延迟。这有帮助，但在我看来，它并没有真正解决根本问题。我猜端到端最终会胜出，但只有在这些模型能够可靠地在对话中接受新上下文并同时输出结构化数据/工具调用与语音时。好奇那些实际构建语音代理的人今天在做什么。你是在使用 ASR → LLM → TTS、端到端语音到语音，还是某种混合方式？如果你两种都尝试过，为了获得亚秒级延迟，你愿意放弃多少控制？任何想法都将非常感谢！