深入sanoTTS — 一个拥有294,279个参数的TTS系统 [P]
摘要
文章介绍了sanoTTS，一个紧凑的294,279参数TTS系统，并展示了一个交互式网站来探索其内部机制。
sanoTTS是如何工作的？我以直觉编码的方式制作了这个网站来展示sanoTTS内部是什么？页面上显示的每一个张量都是从发布的int8模型中捕获的真实中间值，在它合成一个实际句子时；没有模拟数据，没有替代数据。看看这个：https://ampixa.github.io/sanotts-anatomy/ 创建这个是为了探索sanoTTS处理句子的深入机制。这就是我为什么喜欢用直觉编码来学习；通过交互式可视化理解核心。
相似文章
我推出了 sanoTTS：最小的完整TTS栈，拥有294k参数（337 KB），可在$3微控制器上运行；还有一个1.46m版本，性能超越了3倍和10倍大小的模型。
sanoTTS 是一系列紧凑的TTS模型，其中最小的拥有294k参数，专为微控制器优化，并在基准测试中超越更大的模型。
SteerTTS：一个用数字调控的 23M 参数英文 TTS 模型（音高、语速、响度等以 z-score 表示），可在 CPU 上实时运行 [P]
SteerTTS 是一个 23M 参数的可数值调控英文 TTS 模型，通过 z-score 控制语速、音高、响度等 12 项参数，可在 CPU 上实时运行，并附带 2825 个内置语音与实验性零样本克隆。
IndexTTS: 一个工业级可控高效的零样本 文本转语音系统
IndexTTS 是一个增强型文本转语音系统，结合了 XTTS 和 Tortoise 模型，采用混合字符-拼音建模和优化的向量量化，在自然度、发音可控性和推理速度上优于现有的开源 TTS 系统。
Silencio-2：一个拥有 1800 万参数的 TTS 模型，支持情感和声音标签，在 CPU 上可达到约 20 倍实时速度（开放权重）
Silencio-2 是基于 Kyutai 的 Pocket TTS 微调而来的开放权重 TTS 模型，拥有 1800 万参数，能够遵循文本中的内嵌情绪和声音标签（笑声、叹息、耳语、愤怒等），在 CPU 上的运行速度约为实时速度的 20 倍。作者分享了训练细节和经验教训，特别提到，一个基于 AST/AudioSet 的音频片段级过滤器曾悄无声息地丢弃罕见声音事件，因此最终将其完全移除。
文本转语音（TTS）基准测试更新：引入客观标准和盲投票（已涵盖46个模型，持续增加中）
更新后的TTS基准测试引入了客观标准和实时盲投票机制，为46+模型创建ELO排名，并向社区开放参与。