标签
Miso Labs 发布了 Miso TTS 8B,这是一个基于 Sesame CSM 架构和类似 Llama 3.2 骨干网络的文本转语音模型,旨在生成高质量对话语音及实现语音延续。
本文介绍了Live Music Diffusion Models(LMDMs),它通过修改扩散过程,实现了高效的块式处理以及新颖的训练范式,从而在消费级硬件上进行实时交互式音乐生成,在推理复杂度上超越了离散自回归模型,并实现了稳定的后训练对齐。
WavFlow 是 Meta AI 提出的一种新方法,它直接从视频和文本输入在原始波形空间中生成同步、高保真的音频,绕过了潜在压缩。在 VGGSound 和 AudioCaps 基准测试中,其性能与基于潜在空间的方法相当。
Stability AI发布了Stable Audio 3.0,这是一个开放权重模型系列,可生成最长六分钟的变长音频,支持LoRA微调和音频修复,基于完全许可的数据训练。
Stability AI 发布 Stability Audio 3.0,这是一系列音频模型,能够生成长达6分钟的专业级音乐,其中包含较小模型的开放权重版本以及许可训练数据。
WavFlow 通过波形分块和振幅提升,直接在原始波形空间中生成高保真音频,在视频到音频和文本到音频基准测试中取得了具有竞争力的性能,无需中间潜在表示。
Stability AI 发布了 Stable Audio 3,这是一个潜在扩散模型系列,用于可变长度音频生成和编辑,其小型和中型模型的权重已在 Hugging Face 上提供。
Dramabox,来自Resemble AI的全新开源语音AI模型,声称既能提供高质量的表演效果,又能提供可验证的签名以证明其真实性。
一位社区成员分享了通过 API 调用 Google 的 Lyria 3 Pro 生成曲目的实操体验,指出成本极低且初版输出质量出色。
上海交通大学开源了 F5-TTS 语音生成模型,该模型基于 10 万小时数据训练,支持中英多语言合成及 Zero-shot 声音克隆,并允许商用。
Google 发布了 Gemini 3.1 Flash TTS,这是一个新的文本转语音模型,可通过 Gemini API 访问,支持基于提示的高级控制,以实现详细的语音方向、口音和说话风格。该模型能够生成复杂的音频,包括多说话人对话和特定角色的语音表演。
Google DeepMind 发布了 Gemini 3.1 Flash TTS,这是一个先进的文本转语音模型,配备新的音频标签,可通过文本命令实现对语音风格、语调和速度的细粒度控制。
VoxCPM2 是一个开源的、无分词器的扩散自回归文本转语音模型,支持30种语言,拥有20亿参数,48kHz音频输出,并具备从自然语言描述进行语音设计、可控语音克隆以及实时流式处理等功能。
Fish Audio S2 是一个开源的文本转语音系统,支持多说话人、多轮生成以及指令跟随控制,并由具备低延迟特性的生产级推理引擎提供支持。
Lightricks 发布了 LTX-2.3,这是一个基于扩散的开放权重音视频基础模型,具有改进的质量和提示遵循性,提供多个检查点,包括蒸馏和 LoRA 变体,可在本地执行。
# Sora 2 系统卡 来源:[https://openai.com/index/sora-2-system-card/](https://openai.com/index/sora-2-system-card/) OpenAISora 2 是我们最先进的视频和音频生成模型。在 Sora 的基础上,这个新模型引入了之前视频模型难以实现的功能——例如更准确的物理模拟、更逼真的画质、同步音频、增强的可控性和更广泛的风格范围。该模型能够以高度的精确度遵循用户指示。
本文介绍了连续音频语言模型(CALM),该模型使用连续帧而非离散token生成音频,以提升语音和音乐生成的保真度并降低计算成本。
Google 宣布 Gemini 2.5 具备先进的原生音频功能,可实现实时对话型 AI,支持自然语音生成、风格控制和 24 种以上语言的多模态理解。