我们如何用 Pipecat 和微调 TTS，在单块 L4 GPU 上实现 20 路并发低延迟区域语言语音 Agent

大多数语音 Agent 方案在英语场景下表现不错，但要让马拉雅拉姆语等印度区域语言实现自然、低延迟的对话式 AI，简直是一场噩梦。现成的通用模型要么听起来很机械，要么发音不准，要么每分钟成本高得让本地企业根本用不起。过去几个月里，我和团队从零开始构建了一套生产级语音技术栈来解决这个问题，我想把我们的架构分享给其他正在做非英语或自定义语音流水线的人。以下就是我们目前运行的完整技术栈： **编排层：** 自托管的 Pipecat worker 架构。它能干净利落地处理打断和状态管理，无需依赖付费封装平台。 **语音识别（STT）：** Mai Transcribe 2。它在识别区域口音和快速语流方面的准确率出乎我们的意料，而且不会拖慢流水线。 **LLM：** 一个 Sarvam 对话模型，针对自然对话流程进行了调优，内置自定义异议处理逻辑，并在线索需要升级时干净地回退转接人工坐席。 **语音合成（TTS）与硬件：** 我们专门针对马拉雅拉姆语对 VoxCPM2 进行了微调，使其节奏和语调真正像本地人说话。我们做了优化，让它能在单块 L4 GPU 上同时运行 20 路并发语音生成。 **通话后工作流：** 因为我们是 Meta 官方技术合作伙伴，我们将 Agent 直接接入了 WhatsApp API。只要来电者在电话中表达了兴趣，Agent 就会在对方挂断电话之前触发一条自动发送的 WhatsApp 消息，附上定制报价。 最难的部分无疑是把 TTS 微调做好，以及在单块 L4 上压榨出 20 路并发流的同时不出现延迟尖峰，另外还要让语音流水线和 WhatsApp 交接感觉毫无等待。由于印度本地的定价非常低，即使我们的算力成本已经很低，国内客户的利润率依然相当薄。不过，这套自托管架构同样适用于英语和其他语言。我目前希望与印度以外的一些代理商老板或销售导向的伙伴建立联系——特别是在美国、英国和海湾地区，那里要么有庞大的马拉雅拉姆语侨民群体，要么对高利润的自定义语音部署有需求。我很喜欢处理后端工程、模型微调和交付落地，如果有人擅长客户开发、愿意在国际客户上按五五分成合作，我随时乐意交流并分享一些语音演示。欢迎在评论区提问，关于 Pipecat 配置、L4 优化，或者我们如何完成 VoxCPM2 微调的任何技术问题，我都很乐意解答！