在生产语音AI栈中我们反复看到的五个可观测性缺口

# 在生产和运行语音代理（voice agents）一段时间后，想分享一下各栈中反复出现的故障模式。发在这里是因为真心想听听其他人的看法。我们反复遇到的五个问题是： 1. 团队将基础设施故障和对话失败混为一个质量评分。VAD配置错误不是对话问题，但如果仪表盘将它们等同对待，每次都会往错误的方向调试。 2. 对VAD性能毫无可见性。当这一层静默失败时，代理看起来很差劲，但实际问题的根源在LLM上游两层。 3. 采样率只有1-2%。从统计上必然遗漏口音触发的误分类、通话后期的崩溃以及表现不佳的片段。真正的问题隐藏在长尾中。 4. 根据失败通话自动生成评估。产生的是看似信号实则噪音的数据。我们最终构建了一个句子级别的“人在回路中”标注流程来解决。 5. 在代理级别而不是活动级别进行评估。一个代理可能在平均得分上表现良好，却悄然拉低了特定活动目标的效果。“这个代理说话好吗”是错误的评估单位。“这个代理是否服务于这个活动目标”才是正确的。 想知道大家遇到的情况。你希望早一点发现的故障模式是什么？