MuScriptor：一个用于多乐器音乐转录的开放模型

Hugging Face Daily Papers 论文
music-transcription multi-instrument open-source midi audio-processing

摘要

MuScriptor 是一个开源的多乐器音乐转录模型，能够将录音转录为每种乐器的 MIDI 音符，无需事先知道存在的乐器。

现有的自动音乐转录方法通常局限于单乐器录音，或无法处理复杂的真实音乐混音。尽管先前的工作使用合成训练数据，但生成的模型泛化能力差，导致在现实的多乐器场景中转录输出几乎不可用。在这项工作中，我们分析了合成数据在预训练中的有效性，同时将其与真实音乐音频的微调以及使用强化学习的后训练相结合。我们进一步引入了对乐器存在的条件控制，以定制转录。最后，我们发布了 MuScriptor，一个开源权重的多乐器音乐转录模型，适用于来自各种音乐类型的真实世界音乐录音。
查看原文
查看缓存全文

缓存时间: 2026/07/15 16:22

论文页面 - MuScriptor：一款多乐器音乐转录开放模型

来源：https://huggingface.co/papers/2607.08168 Kyutai 与 MireloAI 的联合项目。MuScriptor 是目前开源的多乐器转录模型。只需给它一段录音——无论是流行、古典、金属、爵士还是其他风格——它就能将每种乐器演奏的音符转录为 MIDI，无需预先了解录音中出现了哪些乐器。

我们在 muscriptor.kyutai.org 上托管了 MuScriptor，您可以使用该模型转录录音、查看并回放转录结果，还可以将其下载为 MIDI 文件。由于该模型是开源的，您也可以使用我们 GitHub 仓库中的代码在本地运行它。

相似文章

MuSViT：面向乐谱表示的基础视觉模型

Hugging Face Daily Papers

MuSViT是首个面向乐谱的基础视觉模型，通过掩码自编码器在数百万页乐谱上预训练，在乐谱识别和符号检测任务中取得卓越性能。