Edge0/Audio8-TTS-Realistic-0.6b · Hugging Face

来源：https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b

Audio8-TTS-Realistic-0.6B基于 Audio8-TTS-Preview-0.6b (https://huggingface.co/Edge0/Audio8-TTS-Preview-0.6b) 构建，在保留紧凑的 0.6B 架构和零样本声音克隆能力的同时，显著提升了语音的真实感。

此版本支持 23 种语言，相比 Preview 新增了 12 种语言。它使用与 Preview 相同的 Transformers 推理接口。本仓库包含完整的模型检查点、44.1 kHz 神经音频编解码器、分词器、处理器以及自定义 Transformers 代码。

可在交互式 Playground (https://huggingface.co/spaces/Edge0/Audio8-TTS-Realistic-0.6b) 中试用语音生成和声音克隆。该演示托管于 Hugging Face ZeroGPU；可用性取决于队列情况和您的每日 GPU 配额。

Audio8 也参与了 TTS Arena (https://tts-agi-tts-arena-v2.hf.space/)，并获得了听众令人鼓舞的评价。我们感谢每一位试听和投票的用户。

https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b#highlights亮点

• **真实感提升：**在 Preview 的基础上，提供更自然的韵律和更富表现力的语音。
• **更广泛的多语言覆盖：**支持 23 种语言，在 Preview 支持的 11 种语言基础上新增了 12 种。
• **紧凑模型：**主模型包含 6.01 亿个参数，音频编解码器单独随附。
• **灵活生成：**可根据参考录音及其转录文本进行零样本声音克隆，也可在没有参考录音的情况下生成语音。
• **GPU 服务部署：**提供 SGLang Omni 适配器，支持分页注意力、动态批处理以及兼容 OpenAI 的语音 API。

https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b#supported-languages支持的语言

覆盖范围语言Preview 中支持的语言 (11)粤语、中文、荷兰语、英语、法语、德语、意大利语、日语、韩语、波兰语、西班牙语Realistic 中新增的语言 (12)阿拉伯语、芬兰语、印地语、印度尼西亚语、马来语、挪威语、葡萄牙语、俄语、瑞典语、泰语、土耳其语、越南语

**注意：**不同语言的质量有所差异；请参阅下方的逐语言评估。基准测试还涵盖一些额外语言，其覆盖范围与支持的语言列表不同。

https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b#model-details模型详情

Audio8 TTS 使用受 Fish Audio S2 Pro (https://github.com/fishaudio/fish-speech) 启发的 DualAR 架构。慢速 AR Transformer 为每个音频帧预测一个语义词元。快速 AR Transformer 以慢速模型的隐藏状态和先前码本为条件，预测该帧的编解码器码本。

组件配置主模型601,159,424 个参数，不含编解码器慢速 AR24 层，宽度 896，14 个注意力头，2 个 KV 头快速 AR4 层，宽度 896，14 个注意力头，2 个 KV 头声学词元10 个码本，每个码本包含 4,096 个条目编解码器44.1 kHz，每个模型帧 2,048 个采样点 (约 21.5 帧/秒)上下文最多 2,048 个打包的文本/音频位置 随附的编解码器同时负责参考音频编码和波形解码，因此无需额外的编解码器检查点。0.6B 的规模指主 DualAR 模型；该参数量不包含编解码器。

https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b#installation安装

建议使用 Python 3.10 或更高版本，以及支持 CUDA 的 GPU。

pip install "torch>=2.5.0" "torchaudio>=2.5.0" \ "transformers>=4.57.0,<5" "soundfile>=0.12" "safetensors>=0.4"

Transformers 发布包已在 NVIDIA H20 上使用 BF16、PyTorch 2.8.0 和 Transformers 4.57.3 进行冒烟测试。检查涵盖模型加载、使用和不使用参考音频的英语与中文生成，以及阿拉伯语、粤语、葡萄牙语和俄语生成。这些属于运行时检查，与下方的基准测试结果相互独立。

https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b#usage使用方法

该模型使用自定义 Transformers 代码。请先审查本仓库中的文件，再通过 trust\_remote\_code=True 加载。

https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b#zero-shot-voice-cloning零样本声音克隆

请使用清晰的参考录音。其转录文本必须与录音中的语音内容完全一致。

`` import soundfile as sf import torch from transformers import AutoModel, AutoProcessor

model_id = “Edge0/Audio8-TTS-Realistic-0.6b” device = “cuda” if torch.cuda.is_available() else “cpu” dtype = torch.bfloat16 if device == “cuda” else torch.float32

processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True) model = AutoModel.from_pretrained( model_id, trust_remote_code=True, dtype=dtype, ).eval().to(device)

inputs = processor( text=[“欢迎使用 Audio8 TTS。很高兴收到您的消息。”], reference_audio=[“reference.wav”], reference_text=[“参考录音的准确转录文本。”], return_tensors=“pt”, ) inputs = {name: value.to(device) for name, value in inputs.items()}

with torch.inference_mode(): output = model.generate( **inputs, max_new_tokens=1024, temperature=0.8, top_p=0.95, top_k=50, do_sample=True, return_dict_in_generate=True, ) waveforms, waveform_lengths = model.decode_audio(output.codes)

audio = waveforms[0, : int(waveform_lengths[0])].float().cpu().numpy() sf.write(“output.wav”, audio, model.config.codec_sample_rate) ``

https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b#generation-without-a-reference无参考音频生成

将上面的处理器调用替换为：

inputs = processor( text=["这段话不使用参考声音。"], return_tensors="pt", )

然后将输入移动到模型所在的设备，并执行相同的生成和解码步骤。有关命令行推理、批处理和监督微调，请参阅 Audio8 TTS 仓库 (https://github.com/Edge0-AI/Audio8_TTS)，并使用 Edge0/Audio8\-TTS\-Realistic\-0\.6b 作为模型路径。

https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b#high-throughput-serving-sglang-omni高吞吐量服务部署：SGLang Omni

SGLang Omni 适配器 (https://github.com/Edge0-AI/Audio8_TTS/tree/master/sglang_omni) 为 Audio8 TTS 提供 GPU 服务部署支持。它以独立模型插件的形式安装，不会覆盖 SGLang Omni 的核心文件。

能力支持情况注意力与批处理SGLang 分页注意力和动态批处理DualAR 执行慢速 AR 服务运行，并为快速 AR 码本解码器使用固定 KV 缓存声音克隆参考音频编码与波形解码API兼容 OpenAI 的 /v1/audio/speech 服务 请使用 0.6B 配置 sglang\_omni/configs/audio8\_tts\_0\_6b\.yaml，并将模型路径设为 Edge0/Audio8\-TTS\-Realistic\-0\.6b 或其下载的快照。该适配器支持无参考音频生成和零样本声音克隆。有关兼容的依赖版本、安装、服务器配置和 API 示例，请参阅部署指南 (https://github.com/Edge0-AI/Audio8_TTS#sglang-omni-serving)。

**验证说明：**Audio8-TTS-Realistic 已在 NVIDIA H20 上使用 BF16，通过非流式语音 API 测试了使用和不使用参考音频的生成，测试时禁用了 Torch 编译和 CUDA 图。这些检查验证了运行时兼容性；未对吞吐量和流式处理进行基准测试。

https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b#evaluation评估

错误率以百分比表示 ( 越低越好 )。说话人相似度 (SIM) 使用 0–1 标度 ( 越高越好 )。这些指标衡量可懂度和说话人相似度；它们并不直接衡量感知到的语音真实感。

https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b#benchmark-summary基准测试汇总

Audio8-TTS-Preview 和 Audio8-TTS-Realistic，均为 0.6B：

基准测试覆盖范围Preview 错误率 % ↓Realistic 错误率 % ↓Preview SIM ↑Realistic SIM ↑Seed-TTS英语 / 中文1.231.250.6820.704CV3共同的 8 种语言4.804.56—0.663CV3核心的 9 种语言—4.86—0.661MiniMax评估的 24 种语言—5.89—0.754

**注意：**数值为未加权的语言宏平均值。Preview 结果根据其已发布的模型卡 (https://huggingface.co/Edge0/Audio8-TTS-Preview-0.6b#evaluation) 计算，其中 SIM 已从百分比转换为 0–1 标度。两个版本分别进行了评估。破折号表示 Preview 模型卡中未报告相应结果。Seed-TTS 对英语 WER 和中文 CER 取平均，不包括高难度中文。共同的 CV3 子集包括中文、英语、日语、韩语、德语、法语、西班牙语和意大利语；9 种语言的集合还包括俄语。CV3 平均值不包括高难度子集和另外 13 种语言。MiniMax 对全部 24 种已评估语言取平均，其中包括支持列表之外的语言。

https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b#reference-comparison参考比较

以下错误率来自我们技术报告中使用的来源。由于评估流程和文本规范化方式不同，这是一项参考比较，而非条件严格一致的排名。破折号表示比较中没有可用结果，并不表示模型不支持相应语言。

模型参数量 (B)Seed-TTS 英语/中文错误率 ↓CV3 (9) 错误率 ↓MiniMax (24) 错误率 ↓Audio8-TTS-Realistic0.61.254.865.89Qwen3-TTS-12Hz-0.6B0.61.12——Qwen3-TTS-1.7B1.71.017.7327.41Higgs Audio v341.114.412.74Higgs Audio v24.71.174.49—Fish S2 Pro4.61.324.494.40MOSS-TTS-v1.58.51.526.113.78CosyVoice3-1.5B1.51.676.89—VoxCPM22.31.415.35—

**来源：**Qwen 的 Seed-TTS 结果来自 Qwen3-TTS 报告，该报告链接位于 Qwen3-TTS 官方仓库 (https://github.com/QwenLM/Qwen3-TTS)；Qwen 的 CV3/MiniMax 结果、Higgs Audio v3 的全部结果，以及 MOSS-TTS-v1.5 的 CV3/MiniMax 结果来自 Boson AI 的评估 (https://huggingface.co/bosonai/higgs-audio-v3-tts-4b)。Fish S2 Pro 的 MiniMax 结果来自 Fish Audio S2 报告，该报告链接位于 Fish Speech 官方仓库 (https://github.com/fishaudio/fish-speech)；其 Seed-TTS/CV3 结果以及 Higgs Audio v2 的结果由我们重新评估得出。MOSS-TTS-v1.5 的 Seed-TTS 结果以及 CosyVoice3/VoxCPM2 的结果汇编于 VoxCPM 仓库 (https://github.com/OpenBMB/VoxCPM)。由于说话人编码器和评估惯例不同，此处省略跨项目的 SIM 值。

**参数统计口径：**Audio8 的 0.6B 不包含其独立编解码器；Qwen 和 CosyVoice 使用发布版本标签；Higgs Audio v3 使用其标称的 4B 发布标签。其余规模为我们报告中使用的四舍五入后的检查点参数量 (VoxCPM2 不包含其独立的 AudioVAE)。不同系统的这些计数采用不同的统计口径。

https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b#seed-tts-detailSeed-TTS 详情

子集指标Preview 错误率 % ↓Realistic 错误率 % ↓Preview SIM ↑Realistic SIM ↑英语WER1.5061.4640.6320.663中文CER0.9501.0290.7310.745高难度中文CER11.51012.7970.6870.702

**注意：**Preview 数值来自其已发布的 Seed-TTS 表格 (https://huggingface.co/Edge0/Audio8-TTS-Preview-0.6b#seed-tts)，其中 SIM 已转换为 0–1 标度。

https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b#multilingual-detail多语言详情

CV3：22 种语言及高难度子集语言指标错误率 % ↓SIM ↑中文CER1.8140.6898英语WER2.9070.6295日语CER7.5110.6659韩语CER4.8010.6962德语WER3.2000.6669法语WER7.9380.6355西班牙语WER3.3890.6680意大利语WER4.9330.6498俄语WER7.2580.6451阿拉伯语WER21.0980.6122芬兰语WER32.2790.7028印地语WER21.7140.7245印度尼西亚语WER13.7430.6682马来语WER17.7980.6710荷兰语WER10.8730.6918挪威语WER17.9610.6905波兰语WER19.2330.6738葡萄牙语WER6.8710.6772瑞典语WER19.2520.7104泰语WER48.5740.6691土耳其语WER12.5670.6496越南语WER28.1110.6790 高难度中文的 CER 为 10.665%，高难度英语的 WER 为 4.736%。这些高难度子集不计入 9 种语言的汇总。22 个常规语言行中的每一行都包含 500 个评估样本。中文、日语和韩语使用 CER；其他常规语言行使用 WER。

MiniMax：全部 24 种已评估语言语言指标错误率 % ↓SIM ↑阿拉伯语CER2.4030.7040粤语CER31.3490.7710中文CER1.1120.7950捷克语 †WER8.6280.7330荷兰语WER1.7150.7050英语WER2.1610.7740芬兰语WER5.0720.7910法语WER3.1980.6660德语WER0.8980.7510希腊语 †CER4.1810.7910印地语CER9.2090.8170印度尼西亚语WER2.1280.7270意大利语WER1.9580.7370日语CER5.1420.7890韩语CER3.7310.7850波兰语WER1.9570.7890葡萄牙语WER2.2340.7860罗马尼亚语 †WER17.4250.7330俄语WER3.0710.7490西班牙语WER1.3500.7450泰语CER6.6740.7760土耳其语WER1.5600.7650乌克兰语 †WER16.3430.6940越南语CER7.9660.7120 每种语言包含 100 个评估样本。标有 † 的行是为完整性而评估的语言，不在此版本支持的语言列表中。指标列保留了评估套件针对各语言采用的 WER/CER 选择。粤语计入 24 种语言的平均值。

https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b#compared-with-preview与 Preview 比较

Realistic 将 Preview 的 11 种语言覆盖范围扩展至 23 种语言，新增了阿拉伯语、芬兰语、印地语、印度尼西亚语、马来语、挪威语、葡萄牙语、俄语、瑞典语、泰语、土耳其语和越南语。

https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b#limitations-and-responsible-use局限性与负责任的使用

• 质量因语言和评估集而异。详细结果包含粤语和部分新支持语言等较困难的情况；支持列表并不意味着所有语言的质量相同。
• 带噪声的参考音频或不匹配的转录文本可能降低稳定性和说话人相似度。参考音频、转录文本和目标文本共享有限的上下文容量；请将长篇内容拆分为长度适中的语句。
• 语音可能出现发音错误、重复、遗漏或提前结束。在将生成音频用于成品之前，请先试听。
• 克隆声音前应获得许可，并在适当情况下披露音频由合成方式生成。

https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b#license-and-acknowledgements许可证与致谢

代码和模型权重依据 Apache 许可证 2.0 (https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b/tree/main/LICENSE) 发布。有关署名详情，请参阅 NOTICE (https://huggingface.co/Edge0/Audio8-TTS-Realistic-0.6b/tree/main/NOTICE)。

我们感谢 Fish Audio 团队公开了 Fish Audio S2 Pro 所使用的 DualAR 架构。