Drama3 在 audio.cpp 中:全速运行时最快可达实时速度的 5 倍,或在 RTX 5090 上显存低于 8 GB 时以约 2 倍实时速度运行!

Reddit r/LocalLLaMA 工具

摘要

Drama3 模型现已支持在 audio.cpp 中运行,在 RTX 5090 上全速运行时最快可达实时速度的 5 倍,或在低于 8 GB 显存下以约 2 倍实时速度运行,仍需进一步优化与修正。

Drama3 对 audio.cpp 的支持由 https://github.com/JarodMica 贡献。非常感谢这一出色的工作!到目前为止,后续的优化工作主要集中在 CUDA 上。该模型同样能在 Vulkan 和 Metal 上运行。在性能、显存效率和正确性方面仍有很大的改进空间。在 Vulkan 上,有一次请求触发了 token 上限。我还发现在多说话人生成中会出现意料之外的静音片段。在该模型进入小版本发布之前,还会进行更多迭代。如果你有兴趣帮助我们进一步优化这个模型,非常欢迎贡献代码!请确保任何涉及共享框架的改动都是增量式且默认关闭(opt-in)的,这样我们就无需花费时间,针对其他 100 多个可能受共享代码改动影响的模型去测试潜在的回归问题。 RTX 5090,Q4_k: | 版本 / 模式 | 文本分块大小 | 峰值显存 | 平均预热后 RTF | | --- | --- | --- | --- | | 全速 CUDA | 512 | 26,990 MiB | 0.195 | | CPU 权重卸载 + 分阶段释放 | 512 | 9,680 MiB | 0.484 | | CPU 权重卸载 + 分阶段释放 | 256 | 7,782 MiB | 0.521 | | 全速 Vulkan | 512 | 27,234 MiB | 0.247 | | CPU 权重卸载 + 分阶段释放,Vulkan | 512 | 12,470 MiB | 0.601 | | CPU 权重卸载 + 分阶段释放,Vulkan | 256 | 12,474 MiB | 0.635 |
查看原文

相似文章

Fish Audio Drama 3 说它需要 48 GB 的 NVIDIA 显卡,而我的 16 GB Radeon 表示不同意。

Reddit r/LocalLLaMA

一位开发者打造了 Red Curtain,让 Fish Audio 的 Drama 3 文本转语音模型(35B MoE,约 3B 激活参数)在 16 GB 的 Radeon RX 9070 上运行,尽管官方要求 48 GB 的 NVIDIA 显卡。其方法是将 FP8 专家层卸载到系统内存,并将激活的专家层缓存在 GPU 上。该工具自带支持声音克隆和多说话人剧本的 Web UI,作者还分享了调优技巧以及一个已知的首行静音问题。

@NFTCPS: 电诈园区又有新武器用了,语音克隆这块又被卷到新高度了。 LuxTTS,一个轻量级 TTS 模型,我看完只想说三个字:真离谱。 快:单卡 150 倍实时,连 CPU 都能跑得比真人说话还快 清:直接 48khz,大部分模型还卡在 24khz…

X AI KOLs Timeline

LuxTTS 是一个轻量级语音克隆 TTS 模型,支持 48kHz 高清输出,单 GPU 可达 150 倍实时速度,仅需 1GB 显存即可本地运行,性能媲美十倍大的模型。