我们将可控小型 TTS 缩小到了 11.84 MB。WER 保持不变,UTMOS 下降约 0.1 [p]

Reddit r/MachineLearning 模型

摘要

WhissleAI 发布了 SteerTTS-Edge,这是一款支持可控语音合成的小型英语 TTS 模型,通过对声学模型进行 int4 量化感知训练,并采用蒸馏后的 Vocos 声码器,将模型压缩至 11.84 MB,同时保持语音可懂度不变(WER 为 0.96%),UTMOS 仅下降约 0.1 分,并保留了全部 12 项控制功能。

前段时间,我发布了 SteerTTS v1,这是一个可以通过数值调控的小型英语 TTS 模型(https://huggingface.co/WhissleAI/steer-tts)。今天,我发布了它的边缘设备版本:https://huggingface.co/WhissleAI/steer-tts-edge 体积:应用需要打包的全部内容(权重、音色、文本前端和 Python 运行时)总共只有 11.84 MB。实现方式:声学模型(925 万参数,采用注意力机制 + 双向 Mamba-3)通过量化感知训练量化至 int4;620 万参数的 Vocos 风格声码器从 charactr/vocos-mel-24khz 蒸馏而来,同样采用 int4 量化感知训练(QAT);文本前端完全使用 numpy,运行时不依赖 NLTK、g2p_en、torchaudio 或 num2words。质量(遵循 Open TTS Leaderboard 评测协议,在本地运行,并非正式提交结果):Seed-TTS WER / UTMOS CV3-Eval WER / UTMOS v1 fp32(无精修器)0.96% / 4.20 edge 0.96% / 4.11 可懂度基本不变。UTMOS 下降约 0.1,几乎全部来自小型 int4 声码器。量化后仍能保留调控能力。12 项控制参数(语速、响度、音高、音高范围、句尾上扬、停顿、频谱倾斜度、气声等)中的每一项都保留了至少 95% 的 fp32 调控效果。此外还提供 50 个风格标签和行内标记:嗯,*那*可真快。[pause 400ms] <slow>让我想想。</slow> <whisper>别告诉任何人。</whisper> 速度(仅使用 CPU,在一台处于负载状态的 2018 年 Threadripper 上测试):使用 4 个线程时,实时率(RTF)为 0.053(约为实时速度的 19 倍),首段音频延迟约 120 毫秒,支持句子级流式输出。局限:仅支持英语,提供 200 种音色(完整模型的 2,825 种音色中的一部分)。设备端不支持声音克隆、自由文本提示或流式精修器。这些功能保留在完整模型中。权重在加载时会反量化为 fp32,因此优势在于体积,而非速度。除非我们为边缘设备编写新的计算内核。情绪标签大多只是风格切换,而 fast/anger 的效果较弱。我需要大家的反馈,尤其是声码器的音质差距,以及你们希望支持的边缘部署目标(ONNX、移动端、WASM)。这里有一些示例:https://whissleai.github.io/steer-tts/
查看原文

相似文章

AuroraTTS-100K 发布!

Reddit r/LocalLLaMA

AuroraAI-Research 发布了 AuroraTTS-100K,这是一个极小的英语文本转语音模型,推理参数仅为 95,638 个。该模型使用可微分的谐波+噪声 DSP 合成器(而非神经声码器)在 LJSpeech 上从零开始训练,实现了 UTMOS 3.53 的评分,且推理速度非常快。