SheetSage2：基于合成监督的连贯主旋律谱（Lead-Sheet）转谱
摘要
SheetSage2 是一个统一的音乐转谱框架，结合了合成 MIDI 监督、任务特定的结构化解码以及自回归蒸馏，在 15 个基准-指标组合中的 12 个上超越了已有系统，并公开了模型权重与代码。
将音乐转写为人类可读的乐谱，需要对节奏、和声、旋律与曲式有连贯的理解。制约这一目标的有两大障碍：标注录音数据稀缺，以及即使局部预测准确，也可能生成前后不一致的音乐序列。我们提出了 SheetSage2——一个统一的音乐转谱框架，它结合了合成数据、任务特定的结构化解码以及自回归蒸馏。经自动标注的 MIDI 渲染成音频后，可为各种音乐理解任务提供可扩展的监督信号。任务特定的结构化解码器整合互补的音乐线索及其时间依赖关系，生成在音乐上连贯的乐谱。自回归蒸馏则在推理时无需任务特定的动态规划，进一步保持转谱精度。在八个基准数据集上，单一的 SheetSage2-AR 模型在我们的评测中于 15 个基准-指标组合里的 12 个上超过了所列出的已有系统，相比 SheetSage1 有显著提升，并在多个基准上超越了任务特定模型。模型权重与推理代码均已公开。
相似文章
多任务多帧视觉钢琴转录
本文介绍了V2N，这是首个完整的视觉钢琴转录系统，可联合从视频中预测起音、释音、按键保持和力度，在PianoVAM和R3基准上取得了最先进的结果。
@kyutai_labs: 我们发布了 MuScriptor，迄今最佳的多乐器转录开源模型，由我们与 @MireloAI 合作开发。
Kyutai Labs 与 MireloAI 发布了 MuScriptor，这是迄今最佳的多乐器转录开源模型，能够将任意流派的录音转录为各乐器的 MIDI 音轨。
迈向结合歌声分配的声部感知合唱转录
该论文介绍了 PawCT，这是首个面向声部感知合唱转录的端到端神经网络框架，能够识别活跃的 SATB（女高音、女低音、男高音、男低音）声部，并将每个声部转录为独立的音符级轨道。在 YouChorale 数据集上，其 F1 分数较以往的合唱自动音乐转录（AMT）基线模型有显著提升。
DuET：音符-帧双编码的钢琴演奏到乐谱转录
DuET 是一种双编码器 Transformer，联合执行 MIDI 到乐谱的转录与节拍跟踪，以提升富有表现力的钢琴演奏转录中的时序和时值准确性，在钢琴谱数据集上实现了显著的 MUSTER 误差降低。
帮助音乐共创代理“听”得更好：用于理解与生成的分层自监督世界模型
这篇预印本介绍了用于音乐共创代理的分层自监督世界模型，具有对CPU友好的快速模型，以及用于MIDI修补和生成的实时演示。