论文页面 - AuralSAM2：通过金字塔视听特征提示让SAM2听见声音

来源：https://huggingface.co/papers/2506.01015

摘要

AuralSAM2通过AuralFuser模块将音频集成到SAM2中，该模块生成稀疏和密集提示，增强跨模态影响，同时保持交互式分割的效率。

Segment Anything Model 2（SAM2）在视频剪辑的可提示分割方面表现出强大的泛化能力；然而，它与音频模态的集成仍未被充分探索。现有方法要么通过基础模型将音频转换为视觉提示（例如，边界框），要么向图像编码器注入适配器以进行视听融合。然而，这两种方向在人在回路场景中均存在不足，原因是提示精度有限且推理开销增加。特别是，这些基于适配器的方法常常遭受音频提示稀释问题，即信号在网络传播过程中逐渐减弱。在这项工作中，我们提出AuralSAM2，它在很大程度上保留SAM2的可提示分割能力的同时，将音频集成到其中。其核心模块AuralFuser融合音频和视觉特征以生成稀疏和密集提示。在音频引导下，并基于SAM2的特征金字塔，这些提示将听觉线索传播到视觉层中，强化跨模态影响。为了进一步对齐模态，我们引入了音频引导对比损失，该损失强调主导视觉特征中的听觉相关性。我们的方法在公共基准上取得了显著的精度提升，同时对可提示分割的交互效率影响甚微。我们的代码可在 https://github.com/yyliu01/AuralSAM2 获取。

查看arXiv页面 (https://arxiv.org/abs/2506.01015)查看PDF (https://arxiv.org/pdf/2506.01015)GitHub9 (https://github.com/yyliu01/AuralSAM2)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2506.01015)

在你的代理中获取这篇论文：

hf papers read 2506.01015

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型1

yyliu01/AuralSAM2 3天前更新 (https://huggingface.co/yyliu01/AuralSAM2)

引用此论文的数据集0

没有数据集链接此论文

在数据集的README.md中引用arxiv.org/abs/2506.01015以从此页面链接。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2506.01015 以从此页面链接。

包含此论文的收藏集0

没有包含此论文的收藏集

将这篇论文添加到收藏集中以从此页面链接。