介绍 SAM Audio：首个用于音频分离的统一多模态模型
摘要
SAM Audio 是首个用于音频分离的统一多模态模型，使用户能够利用文本、视觉或时间提示，从复杂的混合音频中分离出特定的声音。
SAM Audio 通过自然的多模态提示——无论是通过文本、视觉线索还是标记时间片段——简化了从复杂音频混合体中分离任意声音的过程，从而彻底改变了音频处理。
相似文章
AuralSAM2: 通过金字塔视听特征提示赋予SAM2听觉能力
AuralSAM2通过AuralFuser模块将音频集成到SAM2中，该模块从视听特征生成稀疏和密集提示，在保持交互效率的同时增强跨模态分割。
@multimodalart: UniSE：统一语音增强的高质量开源模型，用于使音频清晰并分离多人对话中的说话者……
UniSE 是一个统一的、无需提示的、自回归语音增强模型，基于纯解码器语言模型，支持单一模型内完成语音恢复、目标说话人提取和语音分离等多种任务。
Segment Anything Model (SAM) 3.1（2分钟阅读）
SAM 3.1可以使用Meta Model API上的文本提示来检测、分割和跟踪图像和视频中的对象，并具有指定的推理费用。
SepGen：单一模型中的多音轨音视频分离与生成
SepGen 扩展了预训练的音视频生成器，使其在单次联合采样中同时输出视频、混合音轨以及每个描述性源的独立波形，支持生成与分离两种模式，并在语音分离任务上优于语言条件分离器。
facebook/sam3
Meta 发布 SAM 3，一个统一的图像与视频可提示分割基础模型，支持文本或视觉提示进行检测、分割与跟踪，并首次可穷举分割开放词汇概念的所有实例，在新的 SA-CO 基准上达到人类表现的 75-80%。