论文页面 - YuE：用于长形式音乐生成的开放基础模型

来源：https://huggingface.co/papers/2503.08638

摘要

YuE是一个基于LLaMA2的开放基础模型家族，通过在下一token预测、条件化与预训练方面的创新技术，能够生成具有对齐歌词、连贯结构和适当伴奏的长形式音乐。

我们通过引入YuE——一个基于LLaMA2架构的开放基础模型家族——来解决长形式音乐生成任务，特别是具有挑战性的歌词转歌曲问题。具体而言，YuE可扩展至万亿token，并能生成长达五分钟的音乐，同时保持歌词对齐、连贯的音乐结构、动听的人声音调以及适当的伴奏。它通过以下方式实现这一目标：（1）轨道解耦的下一token预测，以克服密集混合信号；（2）结构渐进式条件化，用于长上下文歌词对齐；以及（3）一种多任务、多阶段预训练方案，以实现收敛与泛化。此外，我们为音乐生成重新设计了上下文学习技术，实现了多样化的风格转换，并支持双向生成。通过广泛的评估，我们证明了YuE在音乐性与人声灵活性方面达到甚至超越了部分专有系统。此外，对YuE进行微调可实现额外的控制并增强对罕见语言的支持。不仅如此，除了生成任务，我们还展示了YuE学习到的表征在音乐理解任务中表现良好，其结果在MARBLE基准测试上匹配或超越了现有最优方法。

关键词：歌词转歌曲，歌曲生成，长形式，基础模型，音乐生成

查看arXiv页面 (https://arxiv.org/abs/2503.08638) 查看PDF (https://arxiv.org/pdf/2503.08638) 项目页面 (https://map-yue.github.io/) GitHub 6.57k (https://github.com/multimodal-art-projection/YuE) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2503.08638)

在你的代理中获取此论文：

hf papers read 2503.08638

没有最新CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 18

m-a-p/YuE-s1-7B-anneal-en-cot 文本生成 • 6B • 更新于 2025年3月12日 • 6.05k • 460 (https://huggingface.co/m-a-p/YuE-s1-7B-anneal-en-cot)

m-a-p/YuE2-3B 文本转音频 • 4B • 更新于 1天前 • 81 • 96 (https://huggingface.co/m-a-p/YuE2-3B)

m-a-p/YuE-s2-1B-general 文本生成 • 2B • 更新于 2025年3月12日 • 4.35k • 62 (https://huggingface.co/m-a-p/YuE-s2-1B-general)

m-a-p/YuE-s1-7B-anneal-en-icl 文本生成 • 6B • 更新于 2025年3月12日 • 2.25k • 55 (https://huggingface.co/m-a-p/YuE-s1-7B-anneal-en-icl)

浏览引用此论文的18个模型 (https://huggingface.co/models?other=arxiv:2503.08638)

引用此论文的数据集 1

m-a-p/WildSongBench 浏览器 • 更新于 1天前 • 192 • 21 • 5 (https://huggingface.co/datasets/m-a-p/WildSongBench)

引用此论文的空间 61

浏览引用此论文的61个空间 (https://huggingface.co/spaces?arxivIds=2503.08638)

包含此论文的收藏夹 11

浏览包含此论文的11个收藏夹 (https://huggingface.co/collections?paper=2503.08638)