Jukebox

# Jukebox 来源：https://openai.com/index/jukebox/ 自动音乐生成的历史可以追溯到半个多世纪以前。¹²³⁴一个主要的方法是以钢琴卷的形式象征性地生成音乐，它指定每个音符的时序、音高、速度和乐器。这种方法已经取得了令人印象深刻的成果，例如生成巴赫合唱曲⁵⁶、多乐器的复调音乐⁷⁸⁹以及分钟级别的音乐作品。¹⁰¹¹¹² 但象征性生成器有局限性——它们无法捕捉人声或许多更微妙的音色、动态和表现力，这些对音乐至关重要。另一种方法ᴬ是将音乐直接建模为原始音频。¹³¹⁴¹⁵¹⁶在音频级别生成音乐是一项挑战，因为序列非常长。¹⁷典型的4分钟CD质量的歌曲（44 kHz，16位）有超过1000万个时间步。相比之下，GPT-2有1,000个时间步，OpenAI Five 每局游戏需要数万个时间步。因此，为了学习音乐的高层语义，模型必须处理极其长的依赖关系。 解决长输入问题的一个方法是使用自编码器，通过丢弃一些感知上无关紧要的信息，将原始音频压缩到更低维的空间。然后我们可以训练一个模型在这个压缩空间中生成音频，并上采样回原始音频空间。²⁵¹⁷ 我们选择从事音乐工作是因为我们想继续推动生成模型的边界。我们之前在MuseNet上的工作探索了基于大量MIDI数据的音乐合成。现在在原始音频领域，我们的模型必须学习处理高多样性以及非常长的范围结构，原始音频领域对短期、中期或长期时序的错误特别不容宽恕。 接下来，我们训练先验模型，其目标是学习由VQ-VAE编码的音乐代码的分布，并在这个压缩的离散空间中生成音乐。像VQ-VAE一样，我们有三个级别的先验：一个生成最压缩代码的顶级先验，和两个生成较少压缩代码的上采样先验，这些都以上层为条件。 顶级先验建模了音乐的长程结构，从这个级别解码的样本具有较低的音频质量但捕捉了高层语义，如唱歌和旋律。中间和底部的上采样先验添加了局部音乐结构（如音色），显著提高了音频质量。 我们使用Sparse Transformers的简化变体将这些训练为自回归模型。²⁹³⁰这些模型中的每一个都有72层因式分解自注意力，上下文为8192个代码，分别对应于顶、中、底级别的约24秒、6秒和1.5秒的原始音频。 一旦所有先验都被训练，我们可以从顶级生成代码，使用上采样器对其进行上采样，并使用VQ-VAE解码器将其解码回原始音频空间以采样新歌曲。 为了训练这个模型，我们爬取网络来策划一个包含120万首歌曲的新数据集（其中60万首为英文），附带相应的歌词和来自LyricWiki的元数据。元数据包括歌曲的艺术家、专辑、流派和年份，以及与每首歌曲相关的常见情绪或播放列表关键词。我们使用32位、44.1 kHz的原始音频进行训练，并通过随机将左右声道混成单声道来执行数据增强。