你在生产环境的语音智能体中使用什么 STT API?最先出问题的是什么?
摘要
一位开发者询问人们在生产环境的语音智能体中使用哪些 STT API,比较了 Deepgram、AssemblyAI 和 Smallest AI Pulse,并指出了常见的故障点,如端点检测、延迟和打断。
我很好奇现在人们在实际生产环境的语音智能体中到底用什么。不是演示技术栈,也不是“在我的笔记本上能跑”。而是真实通话。你们用什么来做这些:
- STT
- LLM
- TTS
- 电话系统 / WebRTC
- VAD
- barge-in
- 日志记录
- 部分转写 vs 最终转写
- 回退机制
我不断看到的情况是,大家首先怪罪 LLM,但很多时候智能体在 LLM 拿到干净文本之前就已经坏了。端点检测差。最终转写出来慢。部分结果说一个意思,最终结果又说另一个。来电者打断了,机器人还在继续说话。电话音频听起来很糟糕。号码/日期听错了。转写在事后是准确的,但在当下毫无用处。
目前我心中的语音智能体 STT 候选名单更接近 Deepgram、AssemblyAI、Smallest AI Pulse,如果用例能容忍更多基础设施,则是某种 Whisper/faster-whisper 方案。Smallest AI Pulse 是我对实时智能体最感兴趣的一个,因为它是围绕实时 STT/ASR 构建的,问题不是“它能转写吗?”,而是“智能体能否足够快地获得可用的语音,以保持通话不中断?”
对于生产环境的智能体,你们最先坏掉的是什么?STT 延迟?端点检测?barge-in?TTS 延迟?LLM/工具调用?电话通信的奇怪问题?
相似文章
2026年你当前/最佳AI语音代理技术栈是什么?
一个社区讨论,询问大家在实际生产环境中使用哪些AI语音代理,重点关注延迟、打断处理和可靠性,并提到了LuMay Voice Agent、Vapi、Retell和Twilio。
语音代理的最佳STT API?我会先测试延迟再测试准确性
作者认为,对于实时语音代理,STT延迟和实时行为比原始转录准确性更为关键,并提出了不同的评估记分卡。
我的语音助手本来很智能,直到一个电话号码被转录错误。
本文认为,语音助手的语音转文字(STT)应该根据实体准确性(例如电话号码、日期)来评估,而不是一般的词错误率,因为遗漏关键字段可能会破坏工作流程。文章提到使用HubSpot字段进行测试,并指出Smallest AI Pulse是一个有趣的工具,可以实时捕获工作流关键实体。
我分析了10000通语音AI电话,其中40%存在类似问题
对10,000通语音AI电话的分析揭示了关键失败点:STT错误率、前8秒混乱、中断处理、长时间静默、工具调用延迟、LLM故障以及转接失败——为代理构建者提供了实用见解。
AI 语音代理在演示中令人印象深刻,但有人在实际生产中部署过吗?出了什么问题?
本文质疑 AI 语音代理是否已在生产环境中成功部署,而不仅仅是演示上的惊艳,强调了演示性能与实际可靠性之间的差距。