在构建 AI 辅导系统时，延迟比模型选择更重要

关于 AI 辅导系统该用哪个大模型，每个人都有自己的看法——GPT-4o、Claude，还是经过微调的开源模型。但这个问题本身就问错了方向。真正影响学生学习投入度的，是响应延迟，具体来说是语音启动延迟——也就是学生说完话之后，系统多快开始语音回应。一旦超过大约 1.5 秒，学生就会开始走神，以为系统卡住了。无论模型质量多高，一旦辅导节奏被打断，就很难再找回来。 整个处理链路是：ASR → 上下文检索 → LLM 调用 → TTS → 虚拟形象同步 → 输出。每个环节都会消耗时间，而且是累加的。大多数团队把精力集中在 LLM 这一环节上，但实际上，出问题最多的往往是 ASR 以及 TTS 到虚拟形象同步的衔接部分。Whisper 在 ASR 准确率上表现不错，但在流式场景下，其延迟特性需要认真对待。如果再加上带有口型同步的 3D 虚拟形象，整体上又多了一层渲染负担——一旦超过某个阈值，恐怖谷效应对体验的破坏甚至比响应慢还要严重。 对于生产环境，我建议以下目标：语音启动延迟低于 1 秒，完整响应低于 2 秒，白板或共享上下文同步低于 500 毫秒。这些目标是可以实现的，但需要在每个环节上认真下功夫。 流式 TTS 可能是性价比最高的优化手段。不要等 LLM 输出完整响应后才开始播放音频，而是在 token 还在生成时就同步播放——仅这一点，就能让用户感知到的响应速度缩短整整一秒。 先把延迟架构做好，再去考虑模型说什么。