tencent/AuK
摘要
腾讯已开源 AuK,这是一个15亿参数的基础模型,用于语音生成与编辑,通过统一的自然语言指令接口支持零样本TTS、内容编辑等功能。
查看缓存全文
缓存时间: 2026/09/12 14:19
tencent/AuK · Hugging Face
来源:https://huggingface.co/tencent/AuK
https://huggingface.co/tencent/AuK#news动态
- [2026/09/09] 🎉 AuK现已开源。代码和模型权重均已公开发布。欢迎在🤗演示空间(https://huggingface.co/spaces/tencent/AuK)或🤖ModelScope空间(https://modelscope.cn/studios/Tencent-Hunyuan/AuK)进行试用!
https://huggingface.co/tencent/AuK#contents目录
- 新动态 (https://huggingface.co/tencent/AuK#news)
- 简介 (https://huggingface.co/tencent/AuK#introduction)
- 性能表现 (https://huggingface.co/tencent/AuK#performance)
- 模型架构 (https://huggingface.co/tencent/AuK#model-architecture)
- 支持的任务 (https://huggingface.co/tencent/AuK#supported-tasks)
- 下载权重 (https://huggingface.co/tencent/AuK#download-the-weights)
- 引用方式 (https://huggingface.co/tencent/AuK#citation)
- 开源协议 (https://huggingface.co/tencent/AuK#license)
https://huggingface.co/tencent/AuK#introduction简介
AuK是一个用于语音生成与编辑的15亿参数基础模型。它在数百万小时多样音频数据上训练,通过统一的自然语言指令接口,支持零样本及基于指令的语音合成、内容与声学编辑、副语言编辑、语音增强和源分离。AuK包含两个变体:
本仓库包含AuK基础模型的官方权重。
https://huggingface.co/tencent/AuK#performance性能表现
AuK在语音生成、编辑、增强和分离基准测试中的表现(https://huggingface.co/tencent/AuK/blob/main/assets/performance.png)
https://huggingface.co/tencent/AuK#model-architecture模型架构
模型架构(https://huggingface.co/tencent/AuK/blob/main/assets/arch.png)
https://huggingface.co/tencent/AuK#supported-tasks支持的任务
AuK通过统一的自然语言指令接口提供所有任务。下表按类别对支持的任务进行了分组,并附有简短描述及对应操作指南(Cookbook)章节链接,其中包含指令模板以及CLI和Python代码示例。
| 类别 | 任务 | 描述 | 操作指南 |
|---|---|---|---|
| 语音生成 | 零样本语音合成 | 使用参考音频的音色朗读目标文本。 | 零样本语音合成 |
| 指令语音合成 | 仅通过语音描述生成语音——无需参考音频。 | 指令语音合成 | |
| 内容编辑 | 语音内容编辑 | 重写所说的内容——替换、插入或删除文本。 | 语音内容编辑 |
| 歌词编辑 | 在保留旋律和音色的前提下,重写歌曲录音中的歌词。 | 歌词编辑 | |
| 声学编辑 | 音高编辑 | 以半音为单位升高或降低音高。 | 音高编辑 |
| 语速编辑 | 调整语速;输出长度随语速因子缩放。 | 语速编辑 | |
| 音量编辑 | 以分贝为单位升高或降低音量。 | 音量编辑 | |
| 副语言编辑 | 情感编辑 | 在保留内容和音色的前提下改变情感。 | 情感编辑 |
| 音色编辑 | 将音色更改为指定描述,同时保持内容不变。 | 音色编辑 | |
| 去除口音 | 在保留说话人特征和内容的前提下,去除地域口音。 | 去除口音 | |
| 非言语声音编辑 | 移除或添加呼吸、笑声、咳嗽等非言语声音。 | 非言语声音编辑 | |
| 耳语转换 | 在保留说话人特征和内容的前提下,在正常语音和耳语之间转换。 | 耳语转换 | |
| 增强与分离 | 语音增强 | 去噪、去混响,或恢复自然清晰的语音。 | 语音增强 |
| 语音分离 | 根据说话顺序保留一个说话人,并移除其他声音。 | 语音分离 | |
| 音乐分离 | 从混合音频中提取歌声,或保留所有人声。 | 音乐分离 | |
| 目标说话人提取 | 保留由其所说内容识别的目标说话人。 | 目标说话人提取 |
https://huggingface.co/tencent/AuK#download-the-weights下载权重
🤗 HuggingFace
pip install -U "huggingface_hub[cli]"
# AuK-Base
hf download tencent/AuK --local-dir ./ckpts/AuK
# AuK-Flash (4步蒸馏版)
hf download tencent/AuK-Flash --local-dir ./ckpts/AuK-Flash
# 多模态大语言模型编码器
hf download Qwen/Qwen2.5-Omni-3B --local-dir ./ckpts/Qwen2.5-Omni-3B
🤖 ModelScope
pip install -U modelscope
# AuK-Base
modelscope download --model Tencent-Hunyuan/AuK --local_dir ./ckpts/AuK
# AuK-Flash (4步蒸馏版)
modelscope download --model Tencent-Hunyuan/AuK-Flash --local_dir ./ckpts/AuK-Flash
# 多模态大语言模型编码器
modelscope download --model Qwen/Qwen2.5-Omni-3B --local_dir ./ckpts/Qwen2.5-Omni-3B
预期的目录结构如下:
ckpts/
├── AuK/
├── AuK-Flash/ # 可选
└── Qwen2.5-Omni-3B/
模型检查点包含扩散Transformer和层融合权重。多模态大语言模型编码器和VAE在运行时从单独的文件加载,因此在加载检查点时缺少 text_encoder.* 键是正常现象。
关于安装、推理、Gradio、ComfyUI和微调,请参阅GitHub README(https://github.com/Tencent-Hunyuan/AuK#quick-start)和操作指南(Cookbook)(https://github.com/Tencent-Hunyuan/AuK/blob/main/docs/COOKBOOK.md)。
https://huggingface.co/tencent/AuK#inference-with-sglang-omni使用SGLang-Omni进行推理
感谢SGLang Omni团队在发布当天即完成对AuK的支持。你可以使用以下命令启动SGLang Omni:
python -m sglang_omni.cli serve --model-path tencent/AuK
有关详细用法和配置选项,请参阅SGLang Omni AuK操作指南(https://sgl-project.github.io/sglang-omni/cookbook/auk.html)和AuK的优化路线图(https://github.com/sgl-project/sglang-omni/issues/2064)。
https://huggingface.co/tencent/AuK#citation引用方式
使用AuK进行研究时,可引用以下条目:
@misc{ma2026auktechnicalreportopensource,
title={AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing},
author={Ziyang Ma and Zhikang Niu and Wenming Tu and Tianrui Wang and Ruiqi Yan and Junxi Liu and Yanru Huo and Nickk Huang and Yang Liu and Qicong Xie and Zeyu Xie and Hui Wang and Haitao Li and Zixuan Jiang and Yalin Li and Jie Fang and Yifan Duan and Zeyue Tian and Guangzheng Li and Haina Zhu and Shuyi Wang and Jinwen Wang and Mingyu Cui and Tian Tan and Auden and Sen Liang and Steve Yves and Shan Yang and Liefeng Bo and Zilong Zheng and Kai Yu and Eng-Siong Chng and Xie Chen},
year={2026},
eprint={2609.08936},
archivePrefix={arXiv},
primaryClass={cs.SD},
url={https://arxiv.org/abs/2609.08936},
}
https://huggingface.co/tencent/AuK#license开源协议
AuK基于MIT协议发布。完整条款请参见LICENSE文件(https://huggingface.co/tencent/AuK/tree/main/LICENSE)。
相似文章
@TencentHunyuan: AuK 正式发布。音频版 Nano banana 开源基础模型,用于统一语音生成与编辑…
AuK 是一个开源基础模型,用于统一语音生成与编辑,支持零样本TTS和通过自然语言指令进行内容编辑等任务。
AuK 技术报告:一个用于语音生成与编辑的开源基础模型
AuK 是一个开源基础模型,通过自然语言指令统一语音生成与编辑,利用蒸馏技术实现高效推理并取得领先性能。
@TeksEdge: 腾讯开源了一个小型1.5B AI模型,能替代多个独立音频工具,击败Qwen3-TTS!Thi…
腾讯开源了一个名为AuK的1.5B参数AI模型,可以替代多个音频工具,通过自然语言指令处理TTS、语音克隆和降噪等任务。
@vvolhejn: 我们的开源TTS变得更加开源了
Kyutai Labs 已经开源了他们的 Pocket TTS 训练工具集,包括数据流水线、训练方案和评估,允许开发者在GPU上训练文本转语音模型并在CPU上运行。
@阿里的通义实验室:Qwen-Audio-3.0-TTS来了。我们最新的文本转语音模型,提供两个版本:• Flash:实时交互 • Plus:高…
阿里巴巴通义实验室发布了Qwen-Audio-3.0-TTS,一款新的文本转语音模型,提供Flash(实时)和Plus(高质量)两个版本,支持16种语言、自然语言风格控制以及更稳健的语音克隆。