论文页面 - DuET：用于钢琴演奏到乐谱转录的音符-帧双重编码

来源：https://huggingface.co/papers/2610.21467

摘要

DuET 是一个双编码器 Transformer，联合执行 MIDI 到乐谱的转录以及节拍跟踪，以提升钢琴演奏转录中的时值与节奏准确性。

将富有表现力的钢琴演奏转录为乐谱，需要在底层节拍结构中解读各个音符的时值。然而，乐谱属性依附于音符，而节拍可能在没有音符起始点的位置出现。我们提出 DuET，即一个双编码器 Transformer（https://huggingface.co/papers?q=Dual-Encoder%20Transformer），联合学习音符级的演奏 MIDI 到乐谱（PM2S）转录以及帧级的节拍与强拍跟踪（https://huggingface.co/papers?q=downbeat%20tracking）。双向交叉注意力（https://huggingface.co/papers?q=cross-attention）连接音符编码器与帧编码器，而一个自回归解码器（https://huggingface.co/papers?q=autoregressive%20decoder）在二者的表示之间交替，以预测结构化的乐谱属性。我们进一步引入 TimeRoPE（https://huggingface.co/papers?q=TimeRoPE）以及时间-音高旋转位置编码 TPRoPE（https://huggingface.co/papers?q=TPRoPE），以建立共享的演奏时间基准，并显式编码相对时间与音高关系。在 ASAP（一个古典钢琴数据集）以及我们整理的 Gangqinpu 数据集（涵盖多种曲风，以流行钢琴音乐为主）上的评估表明，乐谱时值与记谱时值均有所提升。与各数据集上最强的基线相比，DuET 将 MUSTER 平均误差从 6.56% 降至 3.64%（Gangqinpu），从 11.30% 降至 11.22%（ASAP）。消融实验支持了帧级上下文、基于时间的位置编码以及解码器历史掩码的有效性。代码、权重和演示可在 https://github.com/wei-zeng98/DuET 获取。

查看 arXiv 页面（https://arxiv.org/abs/2610.21467）| 查看 PDF（https://arxiv.org/pdf/2610.21467）| 项目页面（https://huggingface.co/spaces/Wayne42/DuET-demo）| GitHub13（https://github.com/wei-zeng98/DuET）| 添加到收藏夹（https://huggingface.co/login?next=%2Fpapers%2F2610.21467）

在你的 agent 中获取本文：

hf papers read 2610\.21467

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 1

Wayne42/DuET 其他 • 0.1B • 1 天前更新 • 79 • 2（https://huggingface.co/Wayne42/DuET）

引用本文的数据集 0

暂无关联本文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.21467，即可从此页面链接到该数据集。

引用本文的 Spaces 1

包含本文的收藏夹 0

暂无包含本文的收藏夹

将本文添加到收藏夹（https://huggingface.co/new-collection）即可从此页面链接到该收藏夹。