Fish Audio Drama 3 说它需要 48 GB 的 NVIDIA 显卡，而我的 16 GB Radeon 表示不同意。

Reddit r/LocalLLaMA 工具
amd-gpu tts moe voice-cloning open-source hardware-hacking

摘要

一位开发者打造了 Red Curtain，让 Fish Audio 的 Drama 3 文本转语音模型（35B MoE，约 3B 激活参数）在 16 GB 的 Radeon RX 9070 上运行，尽管官方要求 48 GB 的 NVIDIA 显卡。其方法是将 FP8 专家层卸载到系统内存，并将激活的专家层缓存在 GPU 上。该工具自带支持声音克隆和多说话人剧本的 Web UI，作者还分享了调优技巧以及一个已知的首行静音问题。

Drama 3 官方要求使用 48 GB 显存的 NVIDIA 显卡。我想要在我的 RX 9070 上运行它，于是和 Claude 一起打造了 Red Curtain。它的工作原理是：这是一个 35B MoE 模型，每个 token 大约激活 3B 参数。FP8 专家层（约 32 GB）保存在系统内存中，只有实际被使用的专家层才会缓存到 GPU 上，其余部分则以 BF16 精度在显卡上运行。在我的机器上的数据： - 加载约 17 秒 - 3.3 秒的语音约需 13 秒，11.6 秒的语音约需 37 秒 - 显存约 11–12 GB，内存约 35 GB 所以它的速度慢于实时，但对于短句生成来说够用了。工具自带一个小型 Web UI：支持从参考音频克隆声音、多说话人剧本，以及与 Fish 自家编辑器相同的标签（[laughing]、[sighing]、<whisper>…</whisper> 等）。已知问题：有时生成的语音在说完第一行后就变得安静了。这是 Drama 3 的已知问题（vLLM 的配方中也提到了这一点），我对照 Fish 的参考代码验证过，不是 AMD 移植造成的。帮助很大的技巧：将 top-k 设为关闭而不是 30、为每个说话人提供参考声音，以及不要让一行以声音标签开头。这些现在都已成为默认设置。目前仅在 RX 9070（gfx1201）上测试过，很想知道它在其他显卡上是否也能运行。权重文件不包含在内，需要从 Hugging Face 下载。与 Fish Audio 无关联。使用 Fish Audio 构建。https://github.com/re133/red-curtain
查看原文

相似文章

Fish Audio Drama 3 技术报告

Hugging Face Daily Papers

Fish Audio 发布开源语音生成模型 Fish Audio Drama 3 的技术报告：基于 35B 参数混合专家骨干（每 token 激活 3B），支持多参考语音克隆、自然语言导演指令、多轮修订、多人场景配音、编辑式填充、长音频与流式合成，单张 H200 推理速度达 271 帧/秒。

Fish Audio S2 技术报告

Papers with Code Trending

Fish Audio S2 是一个开源的文本转语音系统，支持多说话人、多轮生成以及指令跟随控制，并由具备低延迟特性的生产级推理引擎提供支持。