我们将可控小型 TTS 缩小到了 11.84 MB。WER 保持不变,UTMOS 下降约 0.1 [p]
摘要
WhissleAI 发布了 SteerTTS-Edge,这是一款支持可控语音合成的小型英语 TTS 模型,通过对声学模型进行 int4 量化感知训练,并采用蒸馏后的 Vocos 声码器,将模型压缩至 11.84 MB,同时保持语音可懂度不变(WER 为 0.96%),UTMOS 仅下降约 0.1 分,并保留了全部 12 项控制功能。
前段时间,我发布了 SteerTTS v1,这是一个可以通过数值调控的小型英语 TTS 模型(https://huggingface.co/WhissleAI/steer-tts)。今天,我发布了它的边缘设备版本:https://huggingface.co/WhissleAI/steer-tts-edge 体积:应用需要打包的全部内容(权重、音色、文本前端和 Python 运行时)总共只有 11.84 MB。实现方式:声学模型(925 万参数,采用注意力机制 + 双向 Mamba-3)通过量化感知训练量化至 int4;620 万参数的 Vocos 风格声码器从 charactr/vocos-mel-24khz 蒸馏而来,同样采用 int4 量化感知训练(QAT);文本前端完全使用 numpy,运行时不依赖 NLTK、g2p_en、torchaudio 或 num2words。质量(遵循 Open TTS Leaderboard 评测协议,在本地运行,并非正式提交结果):Seed-TTS WER / UTMOS CV3-Eval WER / UTMOS v1 fp32(无精修器)0.96% / 4.20 edge 0.96% / 4.11 可懂度基本不变。UTMOS 下降约 0.1,几乎全部来自小型 int4 声码器。量化后仍能保留调控能力。12 项控制参数(语速、响度、音高、音高范围、句尾上扬、停顿、频谱倾斜度、气声等)中的每一项都保留了至少 95% 的 fp32 调控效果。此外还提供 50 个风格标签和行内标记:嗯,*那*可真快。[pause 400ms] <slow>让我想想。</slow> <whisper>别告诉任何人。</whisper> 速度(仅使用 CPU,在一台处于负载状态的 2018 年 Threadripper 上测试):使用 4 个线程时,实时率(RTF)为 0.053(约为实时速度的 19 倍),首段音频延迟约 120 毫秒,支持句子级流式输出。局限:仅支持英语,提供 200 种音色(完整模型的 2,825 种音色中的一部分)。设备端不支持声音克隆、自由文本提示或流式精修器。这些功能保留在完整模型中。权重在加载时会反量化为 fp32,因此优势在于体积,而非速度。除非我们为边缘设备编写新的计算内核。情绪标签大多只是风格切换,而 fast/anger 的效果较弱。我需要大家的反馈,尤其是声码器的音质差距,以及你们希望支持的边缘部署目标(ONNX、移动端、WASM)。这里有一些示例:https://whissleai.github.io/steer-tts/
相似文章
SteerTTS:一个用数字调控的 23M 参数英文 TTS 模型(音高、语速、响度等以 z-score 表示),可在 CPU 上实时运行 [P]
SteerTTS 是一个 23M 参数的可数值调控英文 TTS 模型,通过 z-score 控制语速、音高、响度等 12 项参数,可在 CPU 上实时运行,并附带 2825 个内置语音与实验性零样本克隆。
我推出了 sanoTTS:最小的完整TTS栈,拥有294k参数(337 KB),可在$3微控制器上运行;还有一个1.46m版本,性能超越了3倍和10倍大小的模型。
sanoTTS 是一系列紧凑的TTS模型,其中最小的拥有294k参数,专为微控制器优化,并在基准测试中超越更大的模型。
AuroraTTS-100K 发布!
AuroraAI-Research 发布了 AuroraTTS-100K,这是一个极小的英语文本转语音模型,推理参数仅为 95,638 个。该模型使用可微分的谐波+噪声 DSP 合成器(而非神经声码器)在 LJSpeech 上从零开始训练,实现了 UTMOS 3.53 的评分,且推理速度非常快。
压缩 Whisper large-v3-turbo 至 368 MB 采用 Q3_K 匹配的量化感知训练 — 多语言 WER 结果
Whisper large-v3-turbo 已压缩至 368 MB,采用 Q3_K 匹配的量化感知训练,并报告了多语言词错误率结果。
我发布了Inflect-Nano,一个极致微小的463万参数TTS模型。
Inflect-Nano,一个极致微小的463万参数文本转语音模型,已经发布。