标签
KittenML 发布了 Kitten-TTS-2 Pico(7M/4MB)、Nano(17M)和 Mini(80M),这是一系列基于 Apache 2.0 的超轻量多语言开源 TTS 模型,可在单个手机 CPU 线程上以超过实时的速度运行,支持多达 16 种语言。
VoxMel 是一个无 tokenizer 的自回归 TTS 框架,利用可逆的双轴 Haar 变换将 mel 频谱分解为 Coarse-Mel 与残差层,在英语上经 GRPO 后取得 1.15% 的 WER 与 0.753 的说话人相似度;蒸馏出的 2 步/4 步学生模型可媲美监督模型。
Liquid AI 推出 LiquidCodec,这是一个基于 LFM3 架构构建的约 74M 参数的流式音频编解码器,可将语音转换为 token,供其 LFM3-Audio-2B 和 LFM3-Omni-2B 模型使用。它在重建保真度和压缩率上与同类模型相当,同时 token 到波形的解码速度大幅加快,适合端侧设备使用。
一篇文章探讨了语音克隆技术如何迅速变得触手可及,以及听众和研究人员如何利用抖动和微扰等音频取证特征来识别人工智能生成的语音录音。
Silencio-2 是基于 Kyutai 的 Pocket TTS 微调而来的开放权重 TTS 模型,拥有 1800 万参数,能够遵循文本中的内嵌情绪和声音标签(笑声、叹息、耳语、愤怒等),在 CPU 上的运行速度约为实时速度的 20 倍。作者分享了训练细节和经验教训,特别提到,一个基于 AST/AudioSet 的音频片段级过滤器曾悄无声息地丢弃罕见声音事件,因此最终将其完全移除。
Claude Opus 5.5 在 r/singularity 发帖,讲述了它如何从零开始编写了一个约 150 行的 Python 共峰合成器,无需任何 TTS 引擎或录音,仅凭语音学知识就生成了朗读版的《约翰福音》1:1。
一个名为 Turing TTS 的新基准测试衡量人类听众将 AI 生成的语音误认为真实人类语音的频率,目前 Gemini 3.8 Flash TTS 在 A/B 语音识别测试中是最擅长欺骗人类的模型。
Fish Audio 为 Drama 3 语音模型发布了升级后的权重,使其在 Artificial Analysis 的 Provider Voice 和 Controlled Voice 两个 Speech Arena 榜单上均位列开源权重模型第一,并在发音鲁棒性基准测试中排名第一。
为 audio.cpp 新增 any-tts 配方,将 Kokoro TTS 与 OpenVoice 的 ToneColorConverter 结合,仅需约 600 MB 额外 VRAM 即可实现免训练的语音克隆能力。
一篇赞助帖子,对比了 REST、GraphQL、gRPC 和 WebSockets,随后介绍了 Deepgram Flux TTS —— 一款面向实时语音智能体的对话感知文本转语音 API,内置打断处理能力、延迟低于 80 毫秒,并支持 VPC/本地部署。
X-Dubbing 提出一种联合时间感知语音转文本翻译与视频感知文本转语音的方法,通过语言无关的时间预算实现与源视频同步的跨语言配音,无需配对配音数据即可超越现有基线。
一款免费的浏览器端 TTS 工具,完全在设备本地运行,使用 2.7 MB 模型和自定义的 136 kB WebAssembly 引擎,使 Kokoro 蒸馏的 Paradee 模型快了 12.9 倍,同时保持音质。作者详细拆解了每一步优化,并让用户可以在浏览器中实时进行基准测试。
Kyutai 宣布,其支持语音克隆的 Pocket TTS 模型已缩减至仅 190 万参数——比之前缩小了约 10 倍,证明高质量语音合成可以在极其轻量的模型上运行。
StyleStream 2.0 是一个快速且可控的流式语音风格转换框架,通过 few-step MeanFlow 模型和自回归反馈微调将端到端延迟降至 520ms,并借助统一的文本条件流匹配模型支持文本驱动的语音设计与指令式语音编辑。
Fish Audio 发布了 Drama 3 模型的权重,支持用自然语言指导台词演绎并可在句中切换表演方式,引发关于开源语音模型是否将迎来“DeepSeek 时刻”以及 ElevenLabs 等闭源模型护城河的讨论。
开发者详细介绍了为浏览器弹幕射击MMO Mythfall 实现的程序化嘟囔语音系统:用嗡鸣声加共振管模拟元音,由文本字母和标点实时驱动音高与节奏,整个系统仅约半兆字节。
Tori 是一款日语听力练习应用,可将用户自定义句子翻译、添加振假名与语音,并以被动听写、影子跟读、AI 故事和 SRS 闪卡等多种方式练习,还提供 AI 口语导师进行情景对话训练。
Onepin 作为语音生成领域的模型路由与质量控制层正式发布,它架设在现有 TTS 服务商之上,对文稿进行规范化处理、按行选择音色,并大规模自动检测和修复发音或自然度问题。
kyutai_labs 发布了一篇技术博客,介绍如何训练 PocketTTS——一个拥有 100M 参数的端上文本转语音(TTS)模型。该模型采用 Deng 等人提出的 drifting 一步式生成目标,WER 低于 1%,同时具备高质量语音和声音克隆能力。据称这是首个以这种方式训练的语音模型,也是首个以这种方式训练的自回归模型。
DEFINE 是一个端到端的零样本 TTS 框架,通过将说话人身份和口音分别以不同的音频范例为条件进行解耦,并在 F5-TTS 基础上采用 LoRA 适配,利用推理时的引导权重来控制口音强度。