论文页面 - StepAudio 3 Music 技术报告

来源：https://huggingface.co/papers/2609.16034 作者：

,

,

,

,

,

,

,

,

,

摘要

我们推出StepAudio3Music，一个支持显式音乐规划与开放域文本控制生成的大规模长程音乐生成模型。StepAudio Music Tokenizer采用语义感知自监督和多任务训练，将音频表示为50Hz流，源自65536条目的单一码本，在保持音乐结构的同时保留重建相关信息。流匹配扩散Transformer（DiT）预测连续的StepAudio VAE潜在变量，我们的VAE解码器将其转换为48kHz音频。这种离散-连续设计经过对单码本VQ、语义与声学RVQ以及不同DiT配置的比较研究得到验证。为实现显式规划，混合专家自回归模型采用ABC记谱法，在预测音乐token之前生成中间编排计划（ABC-COT），使和声、节奏与旋律结构成为生成上下文的一部分。渐进式训练课程与监督微调支持歌曲与纯器乐生成、从干声人声生成伴奏，以及最长5分30秒的翻唱歌曲合成。通过直接偏好优化（DPO）强化学习，最终模型在评估系统中获得了最高的AudioBox内容享受度、内容实用性与制作质量评分，以及最高的MuQ-MuLan相似度，同时在SongBench评测中表现优异。在初步的人工分析音乐竞技场人声排行榜上，该模型以1105的质量Elo分位居第三，仅次于Suno V5.5和Mureka，领先于Suno V5、MiniMax模型及其他系统。音频演示可访问：https://stepaudiollm.github.io/step-audio-3-music。

查看arXiv页面 (https://arxiv.org/abs/2609.16034) 查看PDF (https://arxiv.org/pdf/2609.16034) 项目页面 (https://stepaudiollm.github.io/step-audio-3-music/) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.16034)

在您的智能体中获取此论文：

hf papers read 2609.16034

没有最新CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型数：0

无模型关联此论文 在模型README.md中引用arxiv.org/abs/2609.16034以从本页面建立关联。

引用此论文的数据集数：0

无数据集关联此论文 在数据集README.md中引用arxiv.org/abs/2609.16034以从本页面建立关联。

引用此论文的空间数：0

无空间关联此论文 在空间README.md中引用arxiv.org/abs/2609.16034以从本页面建立关联。

包含此论文的收藏夹数：0

无收藏夹包含此论文 将此论文添加至收藏夹 (https://huggingface.co/new-collection) 以从本页面建立关联。