论文页面 - MatAnyone-E：用于高效高分辨率视频抠图的稀疏记忆传播

来源：https://huggingface.co/papers/2610.35724

摘要

MatAnyone-E 通过选择性地对不确定区域执行高分辨率匹配，并使用轻量级解码器，加速高分辨率视频抠图，在保持质量的同时实现大幅提速\。

高分辨率视频抠图 (https://huggingface.co/papers?q=video%20matting)需要保留发丝和柔和的半透明效果等精细细节，同时保持帧间一致性\。基于记忆的方法 (https://huggingface.co/papers?q=Memory-based%20methods)通过将当前帧特征与先前帧中存储的信息进行匹配，实现高质量抠图，但随着分辨率提高，这一过程的计算成本也越来越高\。我们提出 MatAnyone-E，这是 MatAnyone 2 的高效扩展版本，将计算集中于最需要的区域\。我们的方法首先执行低分辨率传播 (https://huggingface.co/papers?q=low-resolution%20propagation)，以识别需要进一步细查的不确定区域，以及与这些区域最相关的候选记忆 (https://huggingface.co/papers?q=memory%20candidates)\。随后，仅针对这些区域，使用选定的记忆执行高分辨率匹配 (https://huggingface.co/papers?q=high-resolution%20matching)，同时在其他区域复用低分辨率匹配结果\。这一策略既减少了需要精细匹配的位置数量，也缩小了记忆搜索范围，同时保留生成完整透明度蒙版所需的信息\。我们还使用轻量级解码器 (https://huggingface.co/papers?q=lightweight%20decoder)进一步降低生成高分辨率透明度蒙版的成本；该解码器针对实测运行时瓶颈设计，并通过训练复现原始解码器的表征\。实验表明，MatAnyone-E 在保持与 MatAnyone 2 相当的抠图质量的同时，实现了估计 7.4 倍的推理加速 (https://huggingface.co/papers?q=inference%20speedup)，并将 4K 分辨率下的峰值 GPU 显存 (https://huggingface.co/papers?q=GPU%20memory)占用降至 MatAnyone 2 的 7.6%\。在单张 NVIDIA H200 GPU 上启用编译优化推理时，其在 1080p 下达到 73.07 FPS，在 4K 下达到 28.62 FPS\。

查看 arXiv 页面 (https://arxiv.org/abs/2610.35724)查看 PDF (https://arxiv.org/pdf/2610.35724)项目页面 (https://shuyun-wang.github.io/projects/MatAnyone-E)GitHub54 (https://github.com/Shuyun-Wang/MatAnyone-E)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.35724)

引用此论文的模型0

暂无关联此论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.35724，即可在此页面建立关联\。

引用此论文的数据集0

暂无关联此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.35724，即可在此页面建立关联\。

引用此论文的 Spaces0

暂无关联此论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.35724，即可在此页面建立关联\。

收录此论文的合集1