tencent/AuK

Hugging Face Models Trending 模型

摘要

腾讯已开源 AuK,这是一个15亿参数的基础模型,用于语音生成与编辑,通过统一的自然语言指令接口支持零样本TTS、内容编辑等功能。

任务:文本转语音 标签:音频、语音、文本转语音、零样本TTS、声音克隆、语音生成、语音编辑、语音增强、源分离、语音分离、指令引导、扩散模型、arxiv:2609.08936、许可证:MIT、地区:美国
查看原文
查看缓存全文

缓存时间: 2026/09/12 14:19

tencent/AuK · Hugging Face

来源:https://huggingface.co/tencent/AuK

https://huggingface.co/tencent/AuK#news动态

  • [2026/09/09] 🎉 AuK现已开源。代码和模型权重均已公开发布。欢迎在🤗演示空间(https://huggingface.co/spaces/tencent/AuK)或🤖ModelScope空间(https://modelscope.cn/studios/Tencent-Hunyuan/AuK)进行试用!

https://huggingface.co/tencent/AuK#contents目录

  • 新动态 (https://huggingface.co/tencent/AuK#news)
  • 简介 (https://huggingface.co/tencent/AuK#introduction)
  • 性能表现 (https://huggingface.co/tencent/AuK#performance)
  • 模型架构 (https://huggingface.co/tencent/AuK#model-architecture)
  • 支持的任务 (https://huggingface.co/tencent/AuK#supported-tasks)
  • 下载权重 (https://huggingface.co/tencent/AuK#download-the-weights)
  • 引用方式 (https://huggingface.co/tencent/AuK#citation)
  • 开源协议 (https://huggingface.co/tencent/AuK#license)

https://huggingface.co/tencent/AuK#introduction简介

AuK是一个用于语音生成与编辑的15亿参数基础模型。它在数百万小时多样音频数据上训练,通过统一的自然语言指令接口,支持零样本及基于指令的语音合成、内容与声学编辑、副语言编辑、语音增强和源分离。AuK包含两个变体:

本仓库包含AuK基础模型的官方权重。

https://huggingface.co/tencent/AuK#performance性能表现

AuK在语音生成、编辑、增强和分离基准测试中的表现(https://huggingface.co/tencent/AuK/blob/main/assets/performance.png)

https://huggingface.co/tencent/AuK#model-architecture模型架构

模型架构(https://huggingface.co/tencent/AuK/blob/main/assets/arch.png)

https://huggingface.co/tencent/AuK#supported-tasks支持的任务

AuK通过统一的自然语言指令接口提供所有任务。下表按类别对支持的任务进行了分组,并附有简短描述及对应操作指南(Cookbook)章节链接,其中包含指令模板以及CLI和Python代码示例。

类别任务描述操作指南
语音生成零样本语音合成使用参考音频的音色朗读目标文本。零样本语音合成
指令语音合成仅通过语音描述生成语音——无需参考音频。指令语音合成
内容编辑语音内容编辑重写所说的内容——替换、插入或删除文本。语音内容编辑
歌词编辑在保留旋律和音色的前提下,重写歌曲录音中的歌词。歌词编辑
声学编辑音高编辑以半音为单位升高或降低音高。音高编辑
语速编辑调整语速;输出长度随语速因子缩放。语速编辑
音量编辑以分贝为单位升高或降低音量。音量编辑
副语言编辑情感编辑在保留内容和音色的前提下改变情感。情感编辑
音色编辑将音色更改为指定描述,同时保持内容不变。音色编辑
去除口音在保留说话人特征和内容的前提下,去除地域口音。去除口音
非言语声音编辑移除或添加呼吸、笑声、咳嗽等非言语声音。非言语声音编辑
耳语转换在保留说话人特征和内容的前提下,在正常语音和耳语之间转换。耳语转换
增强与分离语音增强去噪、去混响,或恢复自然清晰的语音。语音增强
语音分离根据说话顺序保留一个说话人,并移除其他声音。语音分离
音乐分离从混合音频中提取歌声,或保留所有人声。音乐分离
目标说话人提取保留由其所说内容识别的目标说话人。目标说话人提取

https://huggingface.co/tencent/AuK#download-the-weights下载权重

🤗 HuggingFace

pip install -U "huggingface_hub[cli]"

# AuK-Base
hf download tencent/AuK --local-dir ./ckpts/AuK

# AuK-Flash (4步蒸馏版)
hf download tencent/AuK-Flash --local-dir ./ckpts/AuK-Flash

# 多模态大语言模型编码器
hf download Qwen/Qwen2.5-Omni-3B  --local-dir ./ckpts/Qwen2.5-Omni-3B

🤖 ModelScope

pip install -U modelscope

# AuK-Base
modelscope download --model Tencent-Hunyuan/AuK --local_dir ./ckpts/AuK

# AuK-Flash (4步蒸馏版)
modelscope download --model Tencent-Hunyuan/AuK-Flash  --local_dir ./ckpts/AuK-Flash

# 多模态大语言模型编码器
modelscope download --model Qwen/Qwen2.5-Omni-3B --local_dir ./ckpts/Qwen2.5-Omni-3B

预期的目录结构如下:

ckpts/
├── AuK/
├── AuK-Flash/          # 可选
└── Qwen2.5-Omni-3B/

模型检查点包含扩散Transformer和层融合权重。多模态大语言模型编码器和VAE在运行时从单独的文件加载,因此在加载检查点时缺少 text_encoder.* 键是正常现象。

关于安装、推理、Gradio、ComfyUI和微调,请参阅GitHub README(https://github.com/Tencent-Hunyuan/AuK#quick-start)和操作指南(Cookbook)(https://github.com/Tencent-Hunyuan/AuK/blob/main/docs/COOKBOOK.md)。

https://huggingface.co/tencent/AuK#inference-with-sglang-omni使用SGLang-Omni进行推理

感谢SGLang Omni团队在发布当天即完成对AuK的支持。你可以使用以下命令启动SGLang Omni:

python -m sglang_omni.cli serve --model-path tencent/AuK

有关详细用法和配置选项,请参阅SGLang Omni AuK操作指南(https://sgl-project.github.io/sglang-omni/cookbook/auk.html)和AuK的优化路线图(https://github.com/sgl-project/sglang-omni/issues/2064)。

https://huggingface.co/tencent/AuK#citation引用方式

使用AuK进行研究时,可引用以下条目:

@misc{ma2026auktechnicalreportopensource,
  title={AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing},
  author={Ziyang Ma and Zhikang Niu and Wenming Tu and Tianrui Wang and Ruiqi Yan and Junxi Liu and Yanru Huo and Nickk Huang and Yang Liu and Qicong Xie and Zeyu Xie and Hui Wang and Haitao Li and Zixuan Jiang and Yalin Li and Jie Fang and Yifan Duan and Zeyue Tian and Guangzheng Li and Haina Zhu and Shuyi Wang and Jinwen Wang and Mingyu Cui and Tian Tan and Auden and Sen Liang and Steve Yves and Shan Yang and Liefeng Bo and Zilong Zheng and Kai Yu and Eng-Siong Chng and Xie Chen},
  year={2026},
  eprint={2609.08936},
  archivePrefix={arXiv},
  primaryClass={cs.SD},
  url={https://arxiv.org/abs/2609.08936},
}

https://huggingface.co/tencent/AuK#license开源协议

AuK基于MIT协议发布。完整条款请参见LICENSE文件(https://huggingface.co/tencent/AuK/tree/main/LICENSE)。

相似文章

@vvolhejn: 我们的开源TTS变得更加开源了

X AI KOLs Timeline

Kyutai Labs 已经开源了他们的 Pocket TTS 训练工具集,包括数据流水线、训练方案和评估,允许开发者在GPU上训练文本转语音模型并在CPU上运行。