你在生产环境的语音智能体中使用什么 STT API?最先出问题的是什么?

Reddit r/AI_Agents 新闻

摘要

一位开发者询问人们在生产环境的语音智能体中使用哪些 STT API,比较了 Deepgram、AssemblyAI 和 Smallest AI Pulse,并指出了常见的故障点,如端点检测、延迟和打断。

我很好奇现在人们在实际生产环境的语音智能体中到底用什么。不是演示技术栈,也不是“在我的笔记本上能跑”。而是真实通话。你们用什么来做这些: - STT - LLM - TTS - 电话系统 / WebRTC - VAD - barge-in - 日志记录 - 部分转写 vs 最终转写 - 回退机制 我不断看到的情况是,大家首先怪罪 LLM,但很多时候智能体在 LLM 拿到干净文本之前就已经坏了。端点检测差。最终转写出来慢。部分结果说一个意思,最终结果又说另一个。来电者打断了,机器人还在继续说话。电话音频听起来很糟糕。号码/日期听错了。转写在事后是准确的,但在当下毫无用处。 目前我心中的语音智能体 STT 候选名单更接近 Deepgram、AssemblyAI、Smallest AI Pulse,如果用例能容忍更多基础设施,则是某种 Whisper/faster-whisper 方案。Smallest AI Pulse 是我对实时智能体最感兴趣的一个,因为它是围绕实时 STT/ASR 构建的,问题不是“它能转写吗?”,而是“智能体能否足够快地获得可用的语音,以保持通话不中断?” 对于生产环境的智能体,你们最先坏掉的是什么?STT 延迟?端点检测?barge-in?TTS 延迟?LLM/工具调用?电话通信的奇怪问题?
查看原文

相似文章

我的语音助手本来很智能,直到一个电话号码被转录错误。

Reddit r/AI_Agents

本文认为,语音助手的语音转文字(STT)应该根据实体准确性(例如电话号码、日期)来评估,而不是一般的词错误率,因为遗漏关键字段可能会破坏工作流程。文章提到使用HubSpot字段进行测试,并指出Smallest AI Pulse是一个有趣的工具,可以实时捕获工作流关键实体。