Ask HN：有没有能基于文本和参考音频生成声音的 AI 模型？
摘要
一个 Ask HN 讨论帖，探讨文本 + 参考音频 → 音频生成在商业化方面的空白：图像和文本模态已经商品化，而可控音频生成仍明显落后。
我一直找不到解决方案。真的没有可以输入参考声音和文字指令、然后输出另一种声音的商业化模型吗？<p>目前，多模态输入到图像或文本输出已经是一个商品化、已解决的问题。比如你可以写一段提示词来生成图片，同时提供一张参考图来引导模型理解你的需求。毕竟，一图胜千言，对吧？<p>我也用过文本 + 音频输入来获得文字描述或分类结果。<p>但我就是找不到「音频 + 文本 → 音频」这样的解决方案。<p>我的使用场景是想基于一个没有多少干净样本的源头来生成新的音效。我以为这应该也是又一个已解决的工作流程，但结果是找不到太多东西。我试过 ElevenLabs 的 SFX，但它只能做文本到音频的生成，没有参考音频的话，光靠文字很难引导模型准确复现某种声音。我还试过号称能做我想做的事的 Stable Audio 3 模型，但效果非常糟糕。这个模态似乎还停留在图像生成在 2016 年的水平。是还有别的方案，还是说这根本就不是一个常见的需求？
相似文章
开源：将声音模仿转化为音效（声音生成的新用户体验）
一个开源AI模型，通过声音模仿和文字描述生成音效，解决了搜索特定声音的难题。
@paulabartabajo_：给AI工程师的建议 如果你正在构建语音智能体，别再连接3个独立模型了，用于音频转文本、文本转音频，或文本转文本……
宣布推出 liquid-audio，这是 Liquid AI 端到端语音转语音 LFM 模型（LFM2-Audio-1.5B 和 LFM2.5-Audio-1.5B）的开源仓库，支持交错和顺序生成模式以及微调功能。
我训练了一个音频模型，能生成用于音乐制作的无限单次音效，并将文本提示转化为完全可演奏的合成器。我不仅发布了模型，还发布了一个视频，详细展示了如何实现这一点（以及让其他人制作基于文本合成器的推理流程）。
一位独立音频研究员训练了名为 Foundation-1 的模型，该模型能生成用于音乐制作的无限单次音效，并将文本提示转化为可演奏的合成器，同时发布了模型、相关文档和推理工具。
在API中引入下一代音频模型
OpenAI 为 API 引入了下一代音频模型，包括改进的语音转文本（gpt-4o-transcribe、gpt-4o-mini-transcribe）和可自定义的文本转语音模型，使开发者能够构建更智能、更具表现力的语音代理，在具有挑战性的场景中提升准确性。
通过多模态突破纯文本瓶颈？
本文讨论了多模态 AI 模型（如 GPT-4o 和 Claude 3.5 Sonnet）如何通过支持可视化调试、音频转数据以及增强型 RAG 系统，来克服纯文本处理的瓶颈。