标签
Falcon是一个因果音视频目标说话人提取模型，利用唇部视频在嘈杂、重叠语音环境中分离目标说话人声音，相较于因果AV-TFGridNet参数量减少91.9%，延迟降低11.1倍。论文还提出了RealSSA基准数据集，涵盖仿真和真实录制的声学场景，并包含多种干扰条件。
论文提出了动态频带划分（DBS）框架，可在固定的频带 token 预算下学习音频源分离中的频率轴划分方式，并在 DnR v2 数据集上将 BSRNN 和 TIGER 的平均 SI-SDR 分别提升至 9.07 dB 和 10.13 dB。
SepGen 扩展了预训练的音视频生成器，使其在单次联合采样中同时输出视频、混合音轨以及每个描述性源的独立波形，支持生成与分离两种模式，并在语音分离任务上优于语言条件分离器。