标签
Silencio-2 是基于 Kyutai 的 Pocket TTS 微调而来的开放权重 TTS 模型,拥有 1800 万参数,能够遵循文本中的内嵌情绪和声音标签(笑声、叹息、耳语、愤怒等),在 CPU 上的运行速度约为实时速度的 20 倍。作者分享了训练细节和经验教训,特别提到,一个基于 AST/AudioSet 的音频片段级过滤器曾悄无声息地丢弃罕见声音事件,因此最终将其完全移除。
一个名为 Turing TTS 的新基准测试衡量人类听众将 AI 生成的语音误认为真实人类语音的频率,目前 Gemini 3.8 Flash TTS 在 A/B 语音识别测试中是最擅长欺骗人类的模型。
语音 AI 的下一次突破,或许将来自对模型评估方式的重新思考,而非评选出新的最强模型。Voice Arena 的图灵 TTS 基准测试衡量的,正是人类听众将 AI 语音误认为真人语音的频率。
Turing TTS 是一项新推出的评估,用于衡量人类听众将 AI 生成的语音误认为真人语音的频率;即使是最优秀的文本转语音(TTS)模型,也仅在约 10% 的情况下骗过听众,这引发了关于如何更好地衡量语音 AI 进展的讨论。
为 audio.cpp 新增 any-tts 配方,将 Kokoro TTS 与 OpenVoice 的 ToneColorConverter 结合,仅需约 600 MB 额外 VRAM 即可实现免训练的语音克隆能力。
Deepgram 新推出的 Flux TTS 旨在解决语音智能体处理流程中一个关键的准确性瓶颈:对于药品名称和快递追踪号等棘手的字母数字字符串,其词错误率仅为 3.4%,同时在整个语音交互闭环中保持自然流畅的语音。
Armin Ronacher 探索了如何使用 Qwen3-TTS 定制语音,介绍了它的 Base、CustomVoice 和 VoiceDesign 三种变体,并展示了如何将声音嵌入(voice embedding)与简短的参考音频进行混合,为他和孩子们一起开发的地牢爬行游戏构建一个独特的旁白角色。
一款免费的浏览器端 TTS 工具,完全在设备本地运行,使用 2.7 MB 模型和自定义的 136 kB WebAssembly 引擎,使 Kokoro 蒸馏的 Paradee 模型快了 12.9 倍,同时保持音质。作者详细拆解了每一步优化,并让用户可以在浏览器中实时进行基准测试。
Gradium 发布了首个开源模型 Phonon,这是一组 31M 和 40M 参数、专为边缘/设备端运行设计的 TTS 模型,其推理栈完全开源并支持 CPU、GPU、NPU 等 10 多种后端(大多基于 Rust)。
Kyutai 宣布,其支持语音克隆的 Pocket TTS 模型已缩减至仅 190 万参数——比之前缩小了约 10 倍,证明高质量语音合成可以在极其轻量的模型上运行。
VoiceManager 是一个低延迟的流式语音到语音(STT/TTS)本地服务器,通过单一 WebSocket 进行流式传输,支持带打断(barge-in)的多轮对话;HermesConsole 则是一个 LCARS 风格的 Kotlin 客户端参考实现,展示唤醒词、流式语音回复、工具调用及会话上下文保持等功能,采用 MIT 协议开源。
inclusionAI 发布 Ming-3.0-audio-flash,一个 126B 总参数(每步激活 6.5B)的原生音频-语言 MoE 模型,支持中英文语音识别、语音问答、长音频理解、音频推理以及可选的语音合成输出,采用 MIT 许可证。
一位开发者打造了 Red Curtain,让 Fish Audio 的 Drama 3 文本转语音模型(35B MoE,约 3B 激活参数)在 16 GB 的 Radeon RX 9070 上运行,尽管官方要求 48 GB 的 NVIDIA 显卡。其方法是将 FP8 专家层卸载到系统内存,并将激活的专家层缓存在 GPU 上。该工具自带支持声音克隆和多说话人剧本的 Web UI,作者还分享了调优技巧以及一个已知的首行静音问题。
一个团队分享了他们如何基于自托管 Pipecat、Mai Transcribe 2、Sarvam 对话式 LLM,以及针对马拉雅拉姆语微调的 VoxCPM2 TTS 构建生产级语音 Agent 技术栈,在单块 L4 GPU 上实现 20 路并发低延迟语音流,并支持 WhatsApp 通话后自动跟进交接。
ELARSpeech 推出了一个包含 30,202 小时语音、涵盖 675 种代表性不足语言的数据集,数据精选自濒危语言档案库,同时提供训练好的自动语音识别(ASR)和文本转语音(TTS)模型以及完整的数据处理流程,以推动长尾多语言语音技术的发展。
一位开发者开源了本地运行的影视配音工具 dub-anything,利用 OmniVoice、IndexTTS、Chatterbox 和 Whisper 克隆并保留每位演员的原声进行多语言配音,让此前未被翻译的内容变得可看。
@no_stp_on_snek 发布了 Fish Audio Drama-3 的两个实验性量化版本(C0 和 C24B),通过自研 TurboQuant llama.cpp fork 在更低显存预算下运行语音合成模型,C24B 已在受限的 RTX 5090 环境下通过短语音测试。
Breeze-TTS-2 被认为是目前最强的本地 TTS 模型,但采用非商用许可;对于可免费商用的场景,Moss TTS 1.5 是当前最佳选择。
开发者发布 Amisoria——一款 iPhone 应用,可为运行在自家 Mac 上的 OpenClaw 网关智能体添加 3D 角色形象、神经语音、口型同步、免提对话与插话功能,支持 20 种语言,基础功能免费且部分开源。
手把手教程:用 AI 智能体 Muse 全自动运营一个抖音号,人只需 10 分钟注册扫码,之后 30 天由 AI 完成选题、脚本、视频生成、配音(接入豆包 TTS)与浏览器自动化发布的完整流水线。