inclusionAI/Ming-3.0-TTS-0.5B

Reddit r/LocalLLaMA 模型
text-to-speech voice-cloning multilingual open-source audio-generation qwen2.5

摘要

inclusionAI 发布了 Ming-3.0-TTS-0.5B，这是一个基于 Qwen2.5-0.5B 构建的稠密 0.5B 多语言文本转语音模型，支持零样本声音克隆、声音设计、副语言内联标签以及自由风格控制，涵盖 7 种语言及中文方言。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/10/21 16:26

inclusionAI/Ming-3.0-tts-0.5B · Hugging Face

来源：https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B Ming-3.0-tts Logo

稠密 0.5B 多语言语音合成，支持副语言与自由形式控制。

GitHub (https://github.com/inclusionAI/Ming-3.0-tts)|博客与演示 (https://nomorecoding.github.io/Ming-3.0-tts/)|ModelScope (https://modelscope.cn/models/inclusionAI/Ming-3.0-tts-0.5b)

本仓库包含 Ming-3.0-tts-0.5B，即基于 Qwen2.5-0.5B 构建的稠密版 Ming-3.0-tts 检查点。该检查点包含主干网络、DiT 头部、音频分词器、说话人编码器和文本分词器。

推理需要 Ming-3.0-tts GitHub 仓库 (https://github.com/inclusionAI/Ming-3.0-tts)。 本 Hugging Face 仓库仅用于分发检查点，不提供独立的推理环境。请克隆 GitHub 仓库并按照其 README 获取最新的依赖、推理代码和使用说明。下文提到的 CLI 脚本和 Python API 均由 GitHub 仓库提供。

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#model-details模型详情

项目值
架构稠密（Dense），Qwen2.5-0.5B 主干
参数量0.5B
语言中文、英语、德语、西班牙语、法语、韩语、日语
方言四川话、粤语
Python APIming_tts.MingTTS
CLIinfer.py
采样率44.1 kHz

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#capabilities能力

  • 通过简短参考音频实现零样本声音克隆
  • 通过自然语言说话人描述进行声音设计
  • 自由形式控制表达方式与说话风格
  • 内置 100+ 中文音色和 5 个英文音色
  • 14 个内联标签，支持中文或英文的呼吸、咳嗽、叹气、笑声、犹豫、惊讶和疑问/确认等副语言声音
  • 显式的情感、语速、音高和音量控制
  • 多语言合成以及四川话/粤语方言控制

Ming-3.0-tts 架构

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#quick-start快速开始

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#installation安装

git clone https://github.com/inclusionAI/Ming-3.0-tts.git cd Ming-3.0-tts pip install -r requirements.txt

已在 NVIDIA H800-80GB 和 H20-96G 上使用 CUDA 12.4 测试。flash-attn 为可选项；若未安装，推理将回退到 PyTorch SDPA。

数字、日期、单位和符号使用 FST 语法进行归一化。可安装 pynini，或传入 --no_text_normalization 跳过文本归一化：

conda install -c conda-forge pynini==2.1.6

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#download下载

pip install "huggingface_hub[cli]" hf download inclusionAI/Ming-3.0-tts-0.5B --local-dir Ming-3.0-tts-0.5b

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#cli-inferenceCLI 推理

python infer.py \ --model_path inclusionAI/Ming-3.0-tts-0.5B \ --task TTS \ --language_id Chinese \ --text "傍晚的风从山口吹过来,远处的云慢慢染成了金色。" \ --prompt_wav_path data/wavs/10002287-00000094.wav \ --prompt_text "在此奉劝大家别乱打美白针。" \ --use_spk_emb \ --output output/tts.wav

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#python-apiPython API

`` from ming_tts import MingTTS

model = MingTTS(“inclusionAI/Ming-3.0-tts-0.5B”) model.synthesize( task=“TTS”, language_id=“Chinese”, # 英文文本传 English text=“傍晚的风从山口吹过来,远处的云慢慢染成了金色。”, prompt_wav_path=“data/wavs/10002287-00000094.wav”, prompt_text=“在此奉劝大家别乱打美白针。”, use_spk_emb=True, output_path=“output/tts.wav”, ) ``

支持的任务包括 TTS、FREEFORM、VOICE_DESIGN、MULTILINGUAL、BASIC、EMOTION、DIALECT 和 IP。详见任务使用手册 (https://github.com/inclusionAI/Ming-3.0-tts/blob/main/cookbooks/instructions.md) 中的控制项和示例。

MULTILINGUAL 在德语、西班牙语、法语、韩语或日语时需要指定 language_id；DIALECT 不接受语言 ID。自由形式（Freeform）使用独立任务，不能与声音设计、内置音色、情感、方言或属性控制组合使用。提供参考音频时将跟随该音色；不提供参考音频时，可通过指令选择音色。

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#verify-the-checkpoint验证检查点

python tools/preflight.py --model_path /path/to/Ming-3.0-tts-0.5b

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#performance性能

基准对比数据来自项目 README (https://github.com/inclusionAI/Ming-3.0-tts#performance)。

加粗和下划线分别表示所列开源模型中的最佳和次佳数值；并列时共享标记。Seed-TTS 和 NVbench-GT 为未参与排名的参考行。

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#zero-shot-tts-seed-tts-testset零样本 TTS（Seed-TTS 测试集）

模型seed-tts-eval-zh WER ↓seed-tts-eval-zh SIM ↑seed-tts-eval-en WER ↓seed-tts-eval-en SIM ↑
Seed-TTS1.110%0.7962.240%0.762
GLM-TTS1.030%0.7612.230%0.672
Qwen3-TTS1.070%—1.390%—
Qwen3-TTS-12Hz-0.6B-Base0.920%—1.320%—
Qwen3-TTS-12Hz-1.7B-Base0.770%—1.240%—
CosyVoice3-0.5B1.160%0.7802.020%0.718
CosyVoice3-1.5B0.710%0.7751.450%0.695
F5-TTS1.560%0.7411.830%0.647
Ming-3.0-tts-0.5b0.800%0.7581.584%0.691
Ming-3.0-tts-tiny0.820%0.7811.666%0.728

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#multilingual-minimax-test-set-selected-languages多语言（MiniMax 测试集，部分语言）

在 MiniMaxAI/TTS-Multilingual-Test-Set (https://huggingface.co/datasets/MiniMaxAI/TTS-Multilingual-Test-Set) 的德语、西班牙语、法语、韩语和日语子集上评估。

模型德语 WER ↓德语 SIM ↑西语 WER ↓西语 SIM ↑法语 WER ↓法语 SIM ↑韩语 CER ↓韩语 SIM ↑日语 CER ↓日语 SIM ↑
dots.tts0.452%0.7982.593%0.83919.878%0.7894.837%0.8535.134%0.838
VoxCPM20.963%0.7901.324%0.8363.380%0.7613.547%0.8394.358%0.825
Fish Audio S21.045%0.7141.216%0.7483.636%0.6981.675%0.7613.427%0.755
FireRedTTS30.348%0.8251.086%0.8684.366%0.8071.644%0.8643.418%0.825
Ming-3.0-tts-0.5b0.365%0.7531.099%0.7634.264%0.6751.728%0.7933.765%0.765
Ming-3.0-tts-tiny0.325%0.7910.971%0.7973.470%0.7336.000%0.7973.427%0.780

每个开源模型均使用其推荐的推理设置，在统一的基于 ASR 的 WER/CER 评估协议下进行评测。

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#paralinguistic-control-nvbench副语言控制（NVBench）

模型中文 单一 CER中文 单一 PCER中文 单一 OCER中文 复合 CER中文 复合 PCER中文 复合 OCER英文 单一 CER英文 单一 PCER英文 单一 OCER英文 复合 CER英文 复合 PCER英文 复合 OCER
NVbench-GT3.869.384.076.738.316.903.7923.715.077.2621.418.62
Orpheus-TTS11.3688.7713.919.0371.9210.6319.8384.8524.388.6871.4611.89
SMIIP-NV-CV28.8075.6411.3417.9256.8019.4710.6677.2014.7920.9354.4923.87
Emilia-NV-CV25.0540.006.6412.5055.3013.215.5448.748.0911.7160.2814.63
CosyVoice33.8557.695.867.8762.759.064.7561.948.266.3957.8410.69
NV-FlexiVoice6.9831.088.1511.8850.4313.218.2039.3710.399.6051.3213.76
NV-CV33.8027.694.908.3346.139.443.4430.044.846.7047.1310.10
Ming-3.0-tts-0.5b2.7022.803.207.6037.008.903.5036.608.107.9047.3010.40
Ming-3.0-tts-tiny2.8017.233.205.8632.957.054.4932.885.815.1246.137.68

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#dialect-control方言控制

模型WSC-Eval-TTS-easy CER ↓WSC-Eval-TTS-easy SIM ↑WSC-Eval-TTS-easy ACC ↑WSC-Eval-TTS-hard CER ↓WSC-Eval-TTS-hard SIM ↑WSC-Eval-TTS-hard ACC ↑WSYue-TTS-eval-Base CER ↓WSYue-TTS-eval-Base SIM ↑WSYue-TTS-eval-Base ACC ↑WSYue-TTS-eval-Coverage CER ↓WSYue-TTS-eval-Coverage SIM ↑WSYue-TTS-eval-Coverage ACC ↑
Qwen3-TTS4.13%——7.35%————————
CosyVoice3-0.5B3.17%0.69676.05%4.07%0.72381.41%8.36%0.61191.70%8.95%0.65895.80%
CosyVoice3-1.5B + DiffRO-EMO7.14%0.703—9.06%0.601—14.38%0.812—13.74%0.826—
CosyVoice2-WSC4.28%0.728—8.87%0.626———————
CosyVoice2-WSC-SFT4.08%0.788—7.22%0.680———————
CosyVoice2-Yue——————10.33%0.821—9.49%0.834—
Sparks-TTS10.83%0.677—12.52%0.545—27.79%0.762—24.25%0.781—
Ming-3.0-tts-0.5b2.27%0.68980.68%3.35%0.69187.64%6.15%0.58698.00%8.15%0.62295.27%
Ming-3.0-tts-tiny2.53%0.72186.09%3.11%0.73888.94%7.40%0.60592.90%8.67%0.65395.16%

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#emotion-control-cv3情感控制（CV3）

模型平均文本相关 快乐文本相关 悲伤文本相关 愤怒文本无关 快乐文本无关 悲伤文本无关 愤怒
CosyVoice3-0.5B66.33%92%70%72%64%42%58%
CosyVoice3-1.5B63.00%86%64%72%64%44%48%
CosyVoice3-1.5B + DiffRO-EMO77.67%98%68%84%98%50%68%
F5-TTS64.67%92%52%72%80%28%64%
Sparks-TTS55.33%80%56%50%50%60%36%
Ming-3.0-tts-0.5b72.33%96%76%94%52%36%80%
Ming-3.0-tts-tiny74.00%98%82%90%60%36%78%

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#emotion-control-cv3n-hard-emotion-control情感控制（CV3N，困难情感控制）

模型平均文本相关 快乐文本相关 悲伤文本相关 愤怒文本无关 快乐文本无关 悲伤文本无关 愤怒
CosyVoice3-0.5B40.00%68%30%78%14%4%46%
Ming-3.0-tts-0.5b37.33%70%36%70%14%4%30%
Ming-3.0-tts-tiny30.67%60%40%44%18%10%12%

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#voice-design-instructttseval-zh声音设计（InstructTTSEval-ZH）

模型平均APSDSDDRP
Qwen3-TTS77.13%85.20%81.10%65.10%
Mimo-Audio-7B-Instruct70.50%75.70%74.30%61.50%
VoiceSculptor67.30%75.70%64.70%61.50%
VoxInstruct47.47%47.50%52.30%42.60%
Ming-3.0-tts-0.5b72.29%78.54%77.28%61.06%
Ming-3.0-tts-tiny75.37%85.10%79.90%61.10%

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#basic-attribute-control基础属性控制

模型语速音量音高平均WER ↓SIM ↑
CosyVoice3-0.5B100.00%97.67%65.33%87.67%1.210%0.580
Ming-3.0-tts-0.5b99.00%95.00%86.00%93.30%0.317%0.712
Ming-3.0-tts-tiny93.00%93.00%78.70%88.23%0.274%0.742

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#limitations局限性

  • 说话人相似度弱于内容准确度；法语的 SIM 是最明显的多语言差距。
  • NVBench 复合场景落后于单一场景；同一句话中出现多个副语言事件时的稳定性仍在改进。
  • 当文本内容本身不含情感信号时，情感控制更加困难。
  • 音高的准确度不如语速和音量，开放式声音设计目前尚未达到最强评测系统的效果。

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#usage-disclaimer使用声明

  • 声音克隆和内置角色音色仅供研究和正当的创作用途。请勿在未经同意的情况下冒充真实人物、用于欺骗或任何非法目的。
  • 在可能被误认为真实录音的场合，请将合成语音标注为合成。
  • 作者不对滥用行为承担任何责任。如发现本项目的滥用行为，请向我们举报。

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#acknowledgements致谢

  • Qwen2.5 (https://github.com/QwenLM/Qwen2.5) 提供的主干网络
  • CAM++ (https://modelscope.cn/models/iic/speech_campplus_sv_zh-cn_16k-common) 用于说话人嵌入提取
  • Ming-omni-tts (https://github.com/inclusionAI/Ming-omni-tts)，上一代版本，本版本的音频分词器基于其构建

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B#license许可证

基于 MIT 许可证发布 (https://github.com/inclusionAI/Ming-3.0-tts/blob/main/LICENSE)。

相似文章

inclusionAI/Ming-3.0-audio-flash · Hugging Face

Reddit r/LocalLLaMA

inclusionAI 发布 Ming-3.0-audio-flash，一个 126B 总参数（每步激活 6.5B）的原生音频-语言 MoE 模型，支持中英文语音识别、语音问答、长音频理解、音频推理以及可选的语音合成输出，采用 MIT 许可证。

@Ryrenz: 太丝滑了，Ming-3.0-tts 能拿一段参考音直接克隆声音，还能用一句话指挥它怎么念 蚂蚁集团旗下的 inclusionAI 昨天刚开源的。在 Artificial Analysis 十月的语音合成榜上，Ming-3.0-tts 的发…

X AI KOLs Timeline

蚂蚁集团旗下 inclusionAI 开源了 Ming-3.0-tts 语音合成模型，在 Artificial Analysis 十月榜单上发音稳健性以 93.2% 拿下总榜第一，可控音色为开源第一，支持音色克隆、自然语言指令控制、14 种副语言标签及四川话、粤语等多方言多语言合成。

Qwen3-TTS 技术报告

Papers with Code Trending

Qwen3-TTS 技术报告介绍了一系列先进的多语言文本转语音模型，具备语音克隆和可控生成能力，采用双轨 LM 架构和专用分词器以实现低延迟流式处理。