@akshay_pachaar：语音 AI 的重要时刻。典型的语音智能体流程包含三个模型阶段。语音转文本将来电者的音频转…

语音 AI 迎来重要时刻。 典型的语音智能体流程包含三个模型阶段。 语音转文本将来电者的音频转换为文字。大语言模型（LLM）处理这些文字并生成回复。文本转语音再将回复转换回音频。 在语音准确性方面，信息可能在两个衔接点丢失。 - STT 必须在输入时准确保留来电者所说的内容。 - TTS 必须在输出时准确保留 LLM 生成的内容。 如果来电者说的是“RX-B17”，转录模型可能会在 LLM 收到之前就将其听成“RX-D17”。 即使 LLM 正确生成了“RX-B17”，语音模型仍可能让最终音频听起来像“RX-D17”。 LLM 的推理准确性是另一个问题。输入和输出两端的语音层都必须准确保留进出 LLM 的信息。 在涉及药品名称、剂量、预约时间、快递单号和字母数字代码时，这一点尤为重要。 Deepgram 为语音层打造了 Flux TTS。 在一项涵盖药品名称、快递单号、美元金额、技术字符串和字母数字组合的评测中，Flux 的词错误率为 3.4%。 我通过一段与宠物医院讨论爱犬 Biscuit 续配处方药的对话，测试了完整的语音交互流程。 智能体需要理解并复述药品名称、剂量、处方编号，以及一个在通话过程中发生变化的取药时间。 测试效果很好。智能体记住了不断变化的细节，语音始终自然，整个交流过程就像一通我可以放心与真实宠物医院进行的电话。 使用 Flux TTS 构建应用：https://fandf.co/4r78t5R 在 Flux TTS 上每消费 1 美元，Deepgram 就会赠送等值 1 美元的使用额度，最高 500 美元。 我的录音就在下方，这篇帖子由我与 Deepgram 团队合作完成。