论文页面 - StepAudio 3 Gen 技术报告

来源：https://huggingface.co/papers/2609.12945
发布于 9月11日

·

由 https://huggingface.co/giantPanda0906 提交

Yang (https://huggingface.co/giantPanda0906) 于 9月14日

作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

StepAudio 3 Gen 是一个离散自回归音频生成模型，它使用残差向量量化 token 在统一框架内整合文本转语音、语音设计、音效和音乐生成。

我们提出 StepAudio 3 Gen，一个通用音频生成模型，在统一框架内支持零样本文本转语音（TTS）、语音设计、人声生成、音效、音乐、氛围语音以及多种音频类型的混合生成。其核心是一个离散自回归生成器 (https://huggingface.co/papers?q=autoregressive%20generator)，直接在残差向量量化 (https://huggingface.co/papers?q=residual%20vector%20quantization)（RVQ）token 上建模音频，与近期通用音频模型中流行的基于扩散 Transformer 的连续生成范式不同。其 StepAudio Tokenizer (https://huggingface.co/papers?q=StepAudio%20Tokenizer) 以 12.5 Hz 在共享的 16 x 2048 残差码空间中表示通用音频，联合量化语义和波形级声学特征，使得每个码层都保留两类信息。在生成方面，主干网络使用自回归建模沿时间轴预测第一个码本，而一个轻量级的因果 Transformer (https://huggingface.co/papers?q=causal%20Transformer) 则沿码本轴完成其余十五个码本的预测。我们的研究进一步确定了三个关键设计原则：（1）干扰感知渐进预训练 (https://huggingface.co/papers?q=interference-aware%20progressive%20pretraining)，用于在获取音频能力的同时保留大语言模型的文本能力；（2）RVQ 适配器 (https://huggingface.co/papers?q=RVQ%20Adaptor)，用于有效融合多码本声学表示 (https://huggingface.co/papers?q=multi-codebook%20acoustic%20representations)；（3）基于共享表示的离散自回归建模 (https://huggingface.co/papers?q=discrete%20autoregressive%20modeling)，用于跨通用音频领域。通过渐进预训练、多任务指令训练和监督微调，StepAudio 3 Gen 在 TTS 和语音设计方面取得了最先进的性能，同时在语音、人声、音效和音乐生成方面保持了强大的能力。音频示例可在 https://stepaudiollm.github.io/step-audio-3-gen/ 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2609.12945) 查看 PDF (https://arxiv.org/pdf/2609.12945) 项目页面 (https://stepaudiollm.github.io/step-audio-3-gen/) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.12945)

在您的智能体中获取本文：

hf papers read 2609.12945

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

无模型链接本文
在模型 README.md 中引用 arxiv.org/abs/2609.12945 以从此页面链接。

引用本文的数据集 0

无数据集链接本文
在数据集 README.md 中引用 arxiv.org/abs/2609.12945 以从此页面链接。

引用本文的空间 0

无空间链接本文
在空间 README.md 中引用 arxiv.org/abs/2609.12945 以从此页面链接。

包含本文的收藏 1