MuseNet

# MuseNet 来源：https://openai.com/index/musenet/ 我们创建了MuseNet，一个深度神经网络，能够生成4分钟长的音乐作品，包含10种不同乐器，并可以融合从乡村音乐到莫扎特再到披头士的各种风格。MuseNet并未被明确编程以理解音乐，而是通过学习预测数百万MIDI文件中的下一个token，自主发现了和谐、节奏和风格的规律。MuseNet使用与GPT-2相同的通用无监督技术（https://openai.com/index/better-language-models/），这是一个大规模的transformer（https://arxiv.org/abs/1706.03762）模型，训练目标是预测序列中的下一个token，无论是音频还是文本。 由于MuseNet掌握许多不同的风格，我们可以以新颖的方式融合生成的音乐。A（https://openai.com/index/musenet/#citation-bottom-A）在这个例子中，模型给定了肖邦夜曲的前6个音符，但要求它用钢琴、鼓、贝斯和吉他生成一首流行音乐风格的作品。模型成功地融合了这两种风格，整个乐队在大约30秒时加入： 我们从许多不同的来源为MuseNet收集训练数据。ClassicalArchives（https://www.classicalarchives.com/）和BitMidi（https://bitmidi.com/）为这个项目捐献了他们庞大的MIDI文件收藏，我们还在线找到了多个集合，包括爵士、流行、非洲、印度和阿拉伯风格。此外，我们还使用了MAESTRO数据集（https://arxiv.org/abs/1810.12247）。 transformer在序列数据上进行训练：给定一组音符，我们要求它预测即将到来的音符。我们尝试了几种不同的方式将MIDI文件编码成适合这个任务的token。首先是和弦方向的方法，将同一时间内所有同时发出的音符的每个组合视为一个单独的"和弦"，并为每个和弦分配一个token。其次，我们尝试通过仅关注音符的开始来压缩音乐模式，并尝试使用字节对编码方案进一步压缩。 我们还尝试了两种不同的时间标记方法：一种是根据作品的速度缩放的token（使token代表音乐的拍子或拍子的分数），另一种是标记秒为单位的绝对时间的token。我们最终采用了一种结合表达力和简洁性的编码方法：将音高、音量和乐器信息合并为单个token。