前瞻聆听:下一音频补丁嵌入预测实现可扩展音频学习器

Hugging Face Daily Papers 论文

摘要

NAPE是一个自监督音频学习框架,使用因果Transformer预测下一频谱图补丁嵌入,在多个音频和语音基准测试中实现最先进的性能,采用极简设计。

自监督学习(SSL)在音频表示学习方面取得了显著进展,尽管现有方法越来越依赖精心设计的预训练方案以达到竞争性能。语言建模以及最近的视觉表示学习中最有影响力的进展,都基于一种截然不同的预训练理念:模型不是被训练为静态特征提取器,而是被训练来从先前的上下文中预测下一个元素,即离散标记或连续嵌入。自回归预测因此提供了一个跨模态转移的统一预训练接口,迫使模型学习底层数据分布。考虑到音频的时间结构使得补丁嵌入的自回归预测自然契合,我们提出这样一个简单因果范式能否产生强大的音频学习器。我们引入NAPE(下一音频补丁嵌入预测),一个自监督框架,其中因果Transformer使用因果掩码和停止梯度作为唯一训练信号,从先前的嵌入预测对数梅尔频谱图的下一个补丁嵌入。该设计刻意极简,避免重建解码器、声学分词器、师生模型设置和辅助正则化损失。在六个音频和语音基准测试中,NAPE在多个任务上实现了最先进的微调性能,在不同编码器大小间一致扩展,并产生强大的线性探测结果。NAPE还能在无显式监督的情况下生成结构化注意力模式。
查看原文
查看缓存全文

缓存时间: 2026/08/21 08:08

论文页面 - 听未来:下一补丁嵌入预测实现可扩展的音频学习

来源:https://huggingface.co/papers/2608.19863

摘要

NAPE 利用因果 Transformer 预测连续的频谱图补丁嵌入,无需辅助组件即可进行自监督音频学习。

自监督学习 (https://huggingface.co/papers?q=Self-supervised%20learning)(SSL)推动了音频表征学习的重大进展,尽管现有方法日益依赖精心设计的预训练方案来达到有竞争力的性能。最近在语言建模以及视觉表征学习领域取得最具影响力进展的是一种截然不同的预训练理念:不是将编码器训练为静态特征提取器,而是训练模型根据先前的上下文预测下一个元素——一个离散的 token 或一个连续的嵌入。自回归预测 (https://huggingface.co/papers?q=Autoregressive%20prediction)因此提供了一种统一的预训练接口,可跨模态迁移,迫使模型学习底层的数据分布。鉴于音频的时序结构使得补丁嵌入 (https://huggingface.co/papers?q=patch%20embeddings)的自回归预测 (https://huggingface.co/papers?q=autoregressive%20prediction)成为一种自然的选择,我们探究这样简单的因果范式是否能产生强大的音频学习器。我们提出了 NAPE(下一个音频补丁嵌入预测),这是一个自监督框架,其中因果 Transformer (https://huggingface.co/papers?q=causal%20Transformer)利用因果掩码 (https://huggingface.co/papers?q=causal%20masking)和停止梯度 (https://huggingface.co/papers?q=stop-gradient)作为唯一的训练信号,根据对数梅尔频谱图 (https://huggingface.co/papers?q=log-mel%20spectrogram)的先前补丁预测下一个补丁嵌入。该设计有意采用极简主义,避免了重建解码器、声学分词器、师生设置和辅助正则化损失。在六个音频和语音基准测试中,NAPE 在多个任务上实现了最先进的微调性能,随编码器规模扩展效果一致,并产生了强大的线性探测结果。NAPE 还能在无显式监督的情况下生成结构化的注意力模式。

查看 arXiv 页面 (https://arxiv.org/abs/2608.19863) 查看 PDF (https://arxiv.org/pdf/2608.19863) 项目页面 (https://umbertocappellazzo.github.io/nape) GitHub (https://github.com/umbertocappellazzo/nape) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.19863)

在你的智能体中获取本文:

hf papers read 2608\.19863

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

没有模型链接到本文

在模型 README.md 中引用 arxiv.org/abs/2608.19863 以从本页面链接到它。

引用本文的数据集 0

没有数据集链接到本文

在数据集 README.md 中引用 arxiv.org/abs/2608.19863 以从本页面链接到它。

引用本文的空间 0

没有空间链接到本文

在空间 README.md 中引用 arxiv.org/abs/2608.19863 以从本页面链接到它。

包含本文的收藏 0

没有收藏包含本文

将本文添加到收藏 (https://huggingface.co/new-collection) 以从本页面链接到它。

相似文章

在API中引入下一代音频模型

OpenAI Blog

OpenAI 为 API 引入了下一代音频模型,包括改进的语音转文本(gpt-4o-transcribe、gpt-4o-mini-transcribe)和可自定义的文本转语音模型,使开发者能够构建更智能、更具表现力的语音代理,在具有挑战性的场景中提升准确性。

AudioMosaic:对比掩码音频表示学习

arXiv cs.LG

AudioMosaic 提出了一种基于对比学习的音频编码器,通过对频谱图块应用结构化时频掩码来构建正样本对,实现高效的大批量训练,在音频基准测试中达到最先进性能,并提升了音频-语言模型的效果。

统一音频智能,且不牺牲文本智能

Hugging Face Daily Papers

这篇论文介绍了Audex,这是NVIDIA推出的统一音频-文本大语言模型,在多种音频和语音任务上实现了最先进的性能,同时保持了强大的文本推理能力,且没有出现退化。