学习在何处分割：用于音频源分离的动态频带分割

Hugging Face Daily Papers 论文
audio-source-separation frequency-band-splitting deep-learning music-separation speech-separation signal-processing

摘要

论文提出了动态频带划分（DBS）框架，可在固定的频带 token 预算下学习音频源分离中的频率轴划分方式，并在 DnR v2 数据集上将 BSRNN 和 TIGER 的平均 SI-SDR 分别提升至 9.07 dB 和 10.13 dB。

音频源分离模型必须在保留精细频谱结构的同时，将分离器的计算成本控制在可承受的范围内。频带分割架构通过手动将频谱划分为预定义的频带，并将每个频带编码为一个词元来降低这一成本，但所有混合音频都使用相同的边界。由于包含有效信息的频谱结构会随声源内容而变化，固定边界可能会将具有判别力的成分合并，或将词元分配给无需较高分辨率的区域。我们提出动态频带分割（Dynamic Band Splitting，DBS），这是一种端到端框架，可在固定的频带词元预算下，针对每个混合音频自适应调整边界位置和频带宽度。DBS 在频率块内预测以内容为条件的边界分数，使用硬 Top-K 选择预定数量的边界，并通过内容相关的池化获得紧凑的频带词元。分离完成后，它将这些词元平滑并扩展至原始短时傅里叶变换（STFT）网格，沿频率维度进行细化，再使用频率间共享的预测头解码复数掩码。在 DnR v2、MUSDB18-HQ 和 EchoSet 上，DBS 的分离性能均优于对应的静态模型，其中 DBS-BSRNN 在 DnR v2 上的平均尺度不变信号失真比（SI-SDR）相对提升了 29.0%。这些结果以及在 DnR v2 上的边界分析表明，在固定的频带词元预算下，内容自适应的频率划分能够提升多种分离器骨干网络的性能。代码和音频演示见 https://cslikai.cn/Dynamic-Band-Splitting
查看原文
查看缓存全文

缓存时间: 2026/10/16 07:05

论文页面 - 学习在哪里划分：用于音频源分离的动态频带划分

来源：https://huggingface.co/papers/2610.14993 我们提出了动态频带划分 (DBS)，这是一个端到端框架，可学习在频率轴的哪些位置进行划分，以实现音频源分离，同时保持固定的频带 token 预算。

DBS 能根据每个混合音频自适应调整频带边界，并兼容 BSRNN、TIGER、BS-RoFormer 和 MelRoFormer。在两个模型均使用 128 个频带的情况下，BSRNN 在 DnR v2 上的平均 SI-SDR 从 7.69 提升至 9.07 dB，TIGER 则从 8.74 提升至 10.13 dB。我们还在 MUSDB18-HQ 上评估了音乐分离，在 EchoSet 上评估了语音分离。

🎧 试用交互式演示，分离语音、音乐和音效，并观察预测的频率边界：https://huggingface.co/spaces/JusperLee/DBS-Demo

代码、预训练模型和音频示例均可在项目页面获取。

相似文章

面向谱扩散的能量条件化噪声调度与白化

arXiv cs.AI

该论文提出一种能量自适应的噪声调度与谱白化策略，用于变换域扩散模型，将前向扩散的噪声分配与变换系数的能量分布对齐，在 CIFAR-10 上将紧凑 DCTdiff U-Net 变体的 FID 从 142.48 降至 100.45，同时保持与标准 DDPM/DDIM 的兼容性。

SepGen：单一模型中的多音轨音视频分离与生成

Hugging Face Daily Papers

SepGen 扩展了预训练的音视频生成器，使其在单次联合采样中同时输出视频、混合音轨以及每个描述性源的独立波形，支持生成与分离两种模式，并在语音分离任务上优于语言条件分离器。

利用路由稀疏自编码器解耦语言学与副语言学信息

arXiv cs.CL

该论文提出将 TopK 稀疏自编码器与路由特定监督和跨因子对抗训练结合，在冻结的 SPEAR 和 WavLM 语音编码器上分离语言学与副语言学信息，展示跨编码器、语料库和干预实验一致的路由选择性分离效果。