我们从构建一条支持47种语言实时翻译的电话线路中学到了什么

大家好，我是ThunderPhone的Alex。我们制作了一个电话号码，可以双向翻译对话。你可以将其接入电话通话，或在面对面交谈时使用扬声器。号码是(228) 888-8666，更多信息请访问translatemycall.com。目前无需应用程序或账户，且免费使用。我们最初在2024年将其作为黑客马拉松项目构建。那个版本能工作，但相当粗糙。我们最近意识到，自那时起为ThunderPhone（我们的生产电话代理语音AI平台）构建的技术栈已经足够成熟，可以重新构建它。主要问题最终是：1) 轮流发言通常比实际翻译更难。停顿并不总是意味着有人说完话，而且人们根据语言不同而停顿方式各异。我们为每个发言者单独运行VAD，并根据语言调整结束轮次检测，以免不断打断或等待过久。2) 电话音频丢失大量信息。通话通常是8kHz窄带音频，伴有压缩、背景噪音，有时两人同时说话。我们同时运行多个转录模型，并将它们的输出与直接输入LLMs的音频融合。任何路径都可能出错，因此同时使用两者帮助很大。3) 每个步骤都必须流式处理。通话通过SIP接入，并经过流式管道进行转录、翻译和语音。在说话之前仍有一点延迟，严重的重叠对话可能会干扰它，但感觉比2024年版本更接近正常的翻译通话。完全支持47种语言。大约70种语言通常都能工作，尽管一些长尾语言的质量会下降。如果有人想尝试，号码是(228) 888-8666，网站是translatemycall.com。很乐意回答关于管道或ThunderPhone的问题。