语音代理的最佳STT API？我会先测试延迟再测试准确性

Reddit r/AI_Agents 新闻
speech-to-text stt voice-agents latency real-time api-evaluation

摘要

作者认为，对于实时语音代理，STT延迟和实时行为比原始转录准确性更为关键，并提出了不同的评估记分卡。

我曾以为“语音代理的最佳STT”问题意味着：哪个STT的转录准确性最高？现在我不这么认为了。对于实时代理，即使转录技术上是准确的，但如果来得太晚或不断变化，依然会破坏通话。用户并不关心你的WER有多好。他们感受到的是：“为什么机器人停顿了？”“为什么它在我还没说完就回答了？”“为什么它没注意到我纠正的数字？”“为什么它打断我说话？”因此，我现在的测试不再是“哪个STT最准确？”，而是：代理的其余部分能否安全地以足够快的速度使用文本？我尝试使用LiveKit + Langfuse的设置来记录每一个回合：用户开始说话 → 第一个转录片段 → 可用的转录 → LLM开始回复 → 工具调用 → 语音开始 → 用户打断 → 代理闭嘴。Smallest AI Pulse在我的候选名单上有一个特定原因：我不想把它当作文件转录工具来评估。我想看它是否像一个实时监听层一样为语音代理工作。对于这个用例，我的记分卡将是：第一个可用文本、最终转录延迟、部分重写混乱、端点检测、打断行为、电话音频、名字/数字/日期、95百分位的回合延迟。准确性当然仍然重要。但对于语音代理，延迟决定了整个过程是感觉生动还是虚假。还有别人也是这样衡量STT的吗？
查看原文

相似文章

我的语音助手本来很智能，直到一个电话号码被转录错误。

Reddit r/AI_Agents

本文认为，语音助手的语音转文字（STT）应该根据实体准确性（例如电话号码、日期）来评估，而不是一般的词错误率，因为遗漏关键字段可能会破坏工作流程。文章提到使用HubSpot字段进行测试，并指出Smallest AI Pulse是一个有趣的工具，可以实时捕获工作流关键实体。