我花了两个月为AI语音智能体构建可观测性,因为调试它们快把我逼疯了
摘要
开发者构建了VoiceOBS,一款AI语音智能体的可观测性工具,提供延迟分解、情感分析、幻觉检测等功能,并与Vapi集成。
我一直在Vapi上构建语音智能体,但总是遇到同样的问题:通话出了问题,客户挂断,我却完全不知道原因。是延迟问题吗?LLM产生幻觉了吗?函数调用超时了吗?现有的可观测性工具(如Helicone、Langfuse)只显示提示词和响应,它们是针对文本而非语音构建的。它们无法看到真正破坏语音智能体的那些因素。所以我构建了VoiceOBS。你可以将你的Vapi(正在集成Retell)账户通过webhook连接,然后每次通话都会自动分析:
* 延迟分解:STT / LLM / TTS,包含p50和p95
* 每次通话的情感、意图和CSAT预估(由Claude分析)
* 幻觉标记
* 完整的可搜索转录
* 结束原因分解,以便了解通话*实际*结束的原因
设置大约需要60秒:注册,创建集成,将webhook URL粘贴到Vapi,发起一次通话,它就会显示分析结果。Beta期间免费(每月100次通话,无需信用卡)。我真正想要的是诚实的反馈——哪些地方令人困惑,缺少什么,什么会让你真正使用它。很高兴回答任何问题。谢谢。
相似文章
被Vapi坑后,我自建了语音AI平台。撰写了我寻找平台过程中学到的所有经验。
作者分享因不满Vapi而自建语音AI平台的经验教训,揭示了隐藏成本、实际延迟问题和白标的缺陷,并为评估平台的代理机构业主提供免费指南。
在生产语音AI栈中我们反复看到的五个可观测性缺口
讨论了生产语音AI栈中五个常见的可观测性缺口,包括基础设施故障与对话失败混合、缺乏VAD可见性、采样不足、自动生成的评估噪音大以及评估层级错误。
语音代理开源分析器 - 内部洞察
一个专为语音代理设计的开源分析器,可提供内部操作和性能的洞察。
AI 语音代理在演示中令人印象深刻,但有人在实际生产中部署过吗?出了什么问题?
本文质疑 AI 语音代理是否已在生产环境中成功部署,而不仅仅是演示上的惊艳,强调了演示性能与实际可靠性之间的差距。
构建AI代理时如何进行评估与可观测性?
作者探讨了在生产环境中评估和监控AI代理所面临的挑战,包括离线评估与在线评估、LLM作为评判、链路追踪和成本追踪,并提到Langfuse、LangSmith等工具,但更关注底层流程。