我训练了一个音频模型，能生成用于音乐制作的无限单次音效，并将文本提示转化为完全可演奏的合成器。我不仅发布了模型，还发布了一个视频，详细展示了如何实现这一点（以及让其他人制作基于文本合成器的推理流程）。

(希望这里可以分享——看起来音频模型和图像/视频模型是允许的，但嗯，这有点不同) 所以，我已经做独立音频研究有一段时间了。这项工作的终极梦想实际上是让人工智能不仅能响应乐器，还能将音色本身作为独立的可控制元素进行响应。想象一下，一架大钢琴既能发出温暖/粗糙的声音，也能发出冰冷/闪烁的声音。但它仍然是一架钢琴。这种控制水平在现有模型中找不到——所以我决定坐下来自己训练一个。实现一致的音色锁定键盘，使其在多次扩散调用中真正锁定，这非常困难，但我做到了。我在这里记录了整个过程，供那些想学习或消遣的人参考。https://youtu.be/x0KnmzH8Mmk 还有一个更长的演示视频，如果你想看看键盘的实际操作。https://x.com/RoyalCities/status/2097733712293109842?s=20 无旁白 / 纯展示演示 https://x.com/RoyalCities/status/2097733715543609445?s=20 最后是 Hugging Face 页面 https://huggingface.co/RoyalCities/Foundation-1 我还提供了与界面相关的推理流程的完整文档，因此这应该能让基本上任何其他人如果有兴趣，都可以自己编写文本到合成器的代码 :) https://github.com/RoyalCities/RC-stable-audio-tools/