[audio.cpp] GGML之音——C++/GGML原生ACE-Step、Stable Audio、HeartMuLa、RoFormer、HTDemucs发布。60秒生成10分钟音乐！

https://preview.redd.it/yxa9dlzquxah1.png?width=2000&format=png&auto=webp&s=b07c74b8832b26b46531e2fddba19fd2437ce4c6 我刚刚在audio.cpp中发布了一个大型音乐/音频扩展。此次更新为已发布的框架新增了音乐生成、SFX生成和源分离功能： 新发布： - ACE-Step 1.5 Turbo / Base - HeartMuLa - Stable Audio 3 Small Music / SFX - Stable Audio 3 Medium - Mel-Band RoFormer - HTDemucs 额外消息：HeartMuLa不再受旧版短时长限制，现在一次运行可生成约10分钟的音频。 当前框架进展：21/28（75%） 这不再仅仅是“C++中的TTS”。audio.cpp版本现在可以通过相同的原生C++/ggml框架路径覆盖语音、声音、ASR/VAD/话者分离、语音转换、音乐/SFX生成和源分离。 ACE-Step Turbo，600秒音乐生成 audio.cpp：60.16秒实际时间，RTF 0.100，9.97倍实时 Python：88.52秒实际时间，RTF 0.148，6.78倍实时 并非所有内容都神奇地变快了。HTDemucs目前在我的测试中比Python路径慢，Stable Audio的热启动运行结果参差不齐。我无意掩饰这一点。当前版本的重点是先让端到端路径进入共享框架，然后再优化特定后端的性能。 这些模型有一个mem_saver模式，适用于长时间运行/服务器式使用。它并不总能降低推理期间的绝对峰值，但可以在运行后减少常驻显存，且对速度影响不大。 Repo: https://github.com/0xShug0/audio.cpp 我希望从在不同GPU/CPU上尝试这些功能的人那里获得反馈，特别是长时间生成、怪异的提示词、音轨分离质量、后端问题、性能数据以及任何异常情况。