标签
一篇文章探讨了语音克隆技术如何迅速变得触手可及,以及听众和研究人员如何利用抖动和微扰等音频取证特征来识别人工智能生成的语音录音。
Fish Audio 为 Drama 3 语音模型发布了升级后的权重,使其在 Artificial Analysis 的 Provider Voice 和 Controlled Voice 两个 Speech Arena 榜单上均位列开源权重模型第一,并在发音鲁棒性基准测试中排名第一。
为 audio.cpp 新增 any-tts 配方,将 Kokoro TTS 与 OpenVoice 的 ToneColorConverter 结合,仅需约 600 MB 额外 VRAM 即可实现免训练的语音克隆能力。
Armin Ronacher 探索了如何使用 Qwen3-TTS 定制语音,介绍了它的 Base、CustomVoice 和 VoiceDesign 三种变体,并展示了如何将声音嵌入(voice embedding)与简短的参考音频进行混合,为他和孩子们一起开发的地牢爬行游戏构建一个独特的旁白角色。
腾讯混元发布 Hy-SimulMT-30B-A3B-FP8 实时同传模型,支持中英双向语音到语音翻译,具备实时语音克隆能力,在长音频评测中实现约3秒的最低延迟。
KittenML 开源发布了 Kitten-TTS 2,这是全球首个 1.58 位(三值化权重)文本转语音模型,拥有 17 亿参数,可仅使用 CPU 实时推理,支持使用不足 5 秒的参考音频进行零样本语音克隆、支持 20 多种语言,以及情感与强调控制。
inclusionAI 发布了 Ming-3.0-TTS-0.5B,这是一个基于 Qwen2.5-0.5B 构建的稠密 0.5B 多语言文本转语音模型,支持零样本声音克隆、声音设计、副语言内联标签以及自由风格控制,涵盖 7 种语言及中文方言。
蚂蚁集团旗下 inclusionAI 开源了 Ming-3.0-tts 语音合成模型,在 Artificial Analysis 十月榜单上发音稳健性以 93.2% 拿下总榜第一,可控音色为开源第一,支持音色克隆、自然语言指令控制、14 种副语言标签及四川话、粤语等多方言多语言合成。
Kyutai 宣布,其支持语音克隆的 Pocket TTS 模型已缩减至仅 190 万参数——比之前缩小了约 10 倍,证明高质量语音合成可以在极其轻量的模型上运行。
SteerTTS 是一个 23M 参数的可数值调控英文 TTS 模型,通过 z-score 控制语速、音高、响度等 12 项参数,可在 CPU 上实时运行,并附带 2825 个内置语音与实验性零样本克隆。
一位开发者打造了 Red Curtain,让 Fish Audio 的 Drama 3 文本转语音模型(35B MoE,约 3B 激活参数)在 16 GB 的 Radeon RX 9070 上运行,尽管官方要求 48 GB 的 NVIDIA 显卡。其方法是将 FP8 专家层卸载到系统内存,并将激活的专家层缓存在 GPU 上。该工具自带支持声音克隆和多说话人剧本的 Web UI,作者还分享了调优技巧以及一个已知的首行静音问题。
一位开发者开源了本地运行的影视配音工具 dub-anything,利用 OmniVoice、IndexTTS、Chatterbox 和 Whisper 克隆并保留每位演员的原声进行多语言配音,让此前未被翻译的内容变得可看。
Edge0/Audio8-TTS-Realistic-Air 是一款采用 Apache-2.0 许可的文本转语音模型,基于 Edge0/Audio8-TTS-Preview-0.6b 微调而来,支持零样本语音克隆以及涵盖 25 种以上语言(zh、en、ja、ko、de、fr、es 等)的多语言合成。
Edge0 发布了 Audio8-TTS-Realistic-0.6B,这是一款紧凑的 6 亿参数 DualAR 文本转语音模型,提升了语音真实感,支持零样本声音克隆和 23 种语言(比预览版多 12 种),并附带一个 44.1 kHz 神经音频编解码器和一个 SGLang 服务适配器。
Fish Audio 推出其最新 AI 语音模型 Drama 3,支持通过自然语言控制情感、节奏、耳语、笑声和停顿,可生成多角色场景、有声书与游戏对话,覆盖 83 种语言,并以社区许可证开放权重供自托管。
Fish Audio 发布了 Drama 3 预览版文本转语音模型,支持用自然语言、括号内标签、音效与局部标记来精确指导每一句台词的表演方式,并可通过 API 调用。
Parley 在 Product Hunt 上发布,这是一款适用于 Mac 和 Windows 的桌面实时翻译工具,能在会议中将你的声音实时翻译成对方语言,同时把对方的话翻译到你的耳机里,并支持语音克隆和双语字幕,兼容 Zoom、Google Meet 等平台,只需你一个人安装即可。
Fish Audio 发布开源语音生成模型 Fish Audio Drama 3 的技术报告:基于 35B 参数混合专家骨干(每 token 激活 3B),支持多参考语音克隆、自然语言导演指令、多轮修订、多人场景配音、编辑式填充、长音频与流式合成,单张 H200 推理速度达 271 帧/秒。
作者分享了将 Fish Audio 语音服务接入 Muse 的完整流程,支持中文配音、多种音色选择、声音克隆以及调用免费的 s2.1-pro-free 模型。
开源 TTS 服务器发布:基于 OmniVoice,提供 OpenAI 兼容 API,RTX 3080 上一句话生成仅需约 0.3 秒,并支持从短参考音频克隆声音,可流式逐段处理长文本。