🚀 AuK 正式发布。用于音频的迷你香蕉🍌

一款统一语音生成与编辑的开源基础模型。 自然语言指令 + 参考音频。单一接口。 零样本文本转语音。指令控制生成。内容编辑。Whisper转换。去口音。音色/风格/情绪编辑。速度/音高控制。增强、降噪、多说话人与音乐分离。 同时发布 AuK-Flash：4步推理。在匹配条件下快约4.5倍。 代码、权重和演示现已上线。欢迎试用并反馈。

🤗 论文与点赞：https://huggingface.co/papers/2609.08936… ⭐ GitHub与星标：https://github.com/Tencent-Hunyuan/AuK…

论文页面 - AuK技术报告：一个用于语音生成与编辑的开源基础模型

来源：https://huggingface.co/papers/2609.08936 发布于9月8日

当日论文排名第二（https://huggingface.co/papers/date/2026-09-09） 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

AuK是一个开源基础模型，通过自然语言指令和音频上下文，统一语音生成与编辑，采用多模态语言模型、联合VAE、混合整流流Transformer以及高效蒸馏以实现快速推理。

我们推出AuK，一个通过自然语言指令和音频上下文的通用接口，统一语音生成与编辑（https://huggingface.co/papers?q=dit）的开源基础模型。为支持这一广泛的能力集，我们构建了约30.3亿指令-音频实例和195万小时的有效监督数据，涵盖五大任务类别：语音生成、内容编辑（https://huggingface.co/papers?q=dit）、增强与分离、副语言编辑（https://huggingface.co/papers?q=dit）和声学编辑（https://huggingface.co/papers?q=dit）。AuK结合了一个用于语义条件的多模态大语言模型（https://huggingface.co/papers?q=multimodal%20large%20language%20model）、一个在语音、通用音频和音乐上联合训练的用于声学条件的VAE（https://huggingface.co/papers?q=VAE），以及一个执行双流MMDiT（https://huggingface.co/papers?q=MMDiT）块后接统一单流DiT（https://huggingface.co/papers?q=DiT）块进行生成的混合整流流Transformer（https://huggingface.co/papers?q=rectified-flow%20Transformer）。训练从仅生成任务的预热开始，进而进行联合生成-编辑（https://huggingface.co/papers?q=dit）预训练。然后我们应用互补的后训练策略：用于开放式编辑（https://huggingface.co/papers?q=dit）的人类反馈偏好优化（https://huggingface.co/papers?q=preference%20optimization）和用于语音生成的基于奖励的强化学习（https://huggingface.co/papers?q=reinforcement%20learning）。为降低推理成本，我们进一步使用一致性初始化（https://huggingface.co/papers?q=consistency%20initialization）和任务路由解耦DMD（https://huggingface.co/papers?q=Decoupled%20DMD）蒸馏模型。由此产生的AuK-Flash在不需要分类器无关引导（https://huggingface.co/papers?q=classifier-free%20guidance）的情况下执行4步推理，并在匹配条件下比完整模型快4.5倍的墙上时钟加速。实验证明，其在零样本和指令控制的语音生成以及通用指令引导编辑（https://huggingface.co/papers?q=dit）方面表现领先，同时在信号级修复任务上也具有竞争力。我们开源了源代码和模型权重以支持可复现性和进一步研究。

查看arXiv页面（https://arxiv.org/abs/2609.08936）查看PDF（https://arxiv.org/pdf/2609.08936）项目页面（https://auk-project.github.io/）GitHub395（https://github.com/Tencent-Hunyuan/AuK）添加到收藏夹（https://huggingface.co/login?next=%2Fpapers%2F2609.08936）

在您的代理中获取此论文：

hf papers read 2609\.08936

没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型4

tencent/AuK 文本转语音• 更新于1天前 • 179 • 77（https://huggingface.co/tencent/AuK）

tencent/AuK-Flash 文本转语音• 更新于2天前 • 129 • 42（https://huggingface.co/tencent/AuK-Flash）

drbaph/AuK-comfyui 文本转语音• 更新于约17小时前 • 3（https://huggingface.co/drbaph/AuK-comfyui）

AEmotionStudio/auk-models 文本转语音• 更新于约16小时前（https://huggingface.co/AEmotionStudio/auk-models）

引用本文的数据集0

无链接此论文的数据集

在数据集README.md中引用arxiv.org/abs/2609.08936以从本页面链接它。

引用本文的空间2

包含本文的收藏夹1