Show HN: MultiMatte，一个可提示的图像背景移除模型

# MultiMatte：保留所需，剔除其余 —— Feyn 来源：https://usefeyn.com/blog/multimatte/ 我们推出 **MultiMatte**，一个可通过文字指令控制的背景移除模型。**MultiMatte 能保留你指定的对象，并移除其他所有内容。** 在 [usefeyn.com/multimatte](https://usefeyn.com/multimatte) 试用 MultiMatte，处理你自己的图片。 MultiMatte 构建于 [SAM 3](https://huggingface.co/facebook/sam3)（Meta, 2025 ([参考文献 1](https://usefeyn.com/blog/multimatte/#ref-1)）) 之上。我们采用低秩微调修改了其 8.6 亿参数中的 1949 万。此次更新仅涉及 2.27% 的模型权重，却显著提升了图像分割能力。在 DIS-VD 基准测试中，MultiMatte 的 S-measure 得分为 0.901，而 SAM 3 仅为 0.667。 **Prompt 引导对比（拖动滑块比较）** 保留的狗，其余全部移除。一只斗牛犬仰望着穿牛仔裤的人手中的碗。输入提示词：the dog ## 从分割到抠图（Matting） SAM 3 是一个支持概念提示的检测器。给定一个短语，模型会为每个匹配对象生成二值掩码。这些掩码将每个像素分类为对象内部或外部。这种二值方法在处理具有模糊边界的精细或半透明元素（如头发或模糊的屏幕）时会失效。 MultiMatte 通过使用 **Alpha 抠图（Alpha Mattes）** 解决了这一差距。它为每个像素分配一个连续的透明度值，而非二值布尔值。这样，模糊边界就能根据其实际外观进行描述。 Alpha 抠图在基准测试中表现优异。在五个高分辨率 DIS 子集上，SAM 3 的得分在 0.649 到 0.703 之间，而 MultiMatte 的得分在 0.893 到 0.923 之间。 ## 训练 MultiMatte SAM 3 并非单一网络，而是由多个对齐的部件组成：视觉塔、CLIP 文本塔、几何编码器、检测编码器与解码器、掩码解码器。通过短语引导模型的能力源于这些部件之间的对齐。我们的目标是将这种能力迁移到抠图任务中。 我们使用 PEFT 框架和 LoRA ([Hu et al., 2021](https://usefeyn.com/blog/multimatte/#ref-2)) 训练模型。每个目标线性层都保持其预训练权重不变，并学习两个小矩阵，在旁边添加低秩更新。这种训练方式让我们在提升分割能力的同时，保留了 SAM 3 的文本对齐和原有词汇表。 Rank-16 适配器遵循了 Thinking Machines 的 LoRA 分析 ([2025](https://usefeyn.com/blog/multimatte/#ref-3)) 中的配置原则。它针对每个塔（包括 CLIP 文本塔）中的注意力层和 MLP 投影层。我们将最终的适配器合并到了发布的权重中，因此推理时不需要单独的适配器库。 训练使用了 19,953 张图像，涵盖显著目标、伪装目标、高分辨率主体、头发和海洋场景等。我们使用了 SAM 3 已有的语义分割目标——焦点损失 ([Lin et al., 2017](https://usefeyn.com/blog/multimatte/#ref-4)) 加上 Dice 损失——进行了 14,000 步训练。 对于提示监督，我们使用了 4,949 张带有手写标签的图像，即训练集中有 24.8% 的图片明确指定了图像中的具体对象。这足以让新的抠图头学会使用 SAM 3 已有的文本对齐能力。 ## 结果 我们报告 S-measure（值越高越好，衡量对象的完整性和形状的保真度，范围 0 到 1）和透明度值的平均绝对误差（MAE，越低越好）。 **无提示 S-measure · SAM 3 → MultiMatte** SAM 3 与 MultiMatte 在十二个基准子集上的无提示 S-measure 对比。 | 子集 | SAM 3 | MultiMatte | 变化 | |---|---|---|---| | DIS-VD | 0.667 | 0.901 | +0.233 | | DIS-TE1 | 0.667 | 0.901 | +0.234 | | DIS-TE2 | 0.703 | 0.923 | +0.220 | | DIS-TE3 | 0.685 | 0.921 | +0.235 | | DIS-TE4 | 0.649 | 0.893 | +0.244 | | DAVIS-S (训练集中无类似类别) | 0.913 | 0.979 | +0.066 | | HRSOD-TE | 0.930 | 0.969 | +0.039 | | UHRSD-TE | 0.877 | 0.961 | +0.084 | | DUTS-TE | 0.892 | 0.954 | +0.062 | | DUT-OMRON (训练集中无类似类别) | 0.792 | 0.901 | +0.109 | | COD10K-TE | 0.787 | 0.934 | +0.148 | | CAMO-TE | 0.827 | 0.914 | +0.086 | *越高越好。*MultiMatte 在每个子集上均优于 SAM 3。我们将变化量低于 0.002 S-measure 或 0.0005 MAE 的结果视为测量噪声。 DAVIS-S 和 DUT-OMRON 是最强的泛化能力测试，因为训练集中没有它们的类似类别。MultiMatte 在 DAVIS-S 上达到最高绝对分数 0.979，并将 DUT-OMRON 的分数从 0.792 提升至 0.901。 概念名称即使在微调前也有帮助。在 DIS-VD 上，一个真实的概念名称在不进行梯度更新的情况下为 SAM 3 增加了 0.150 S-measure，甚至还能为 MultiMatte 增加 0.036。提示路径在重训后得以保留并独立贡献。CAMO 的命名分数使用了与训练时相似的标注者用语风格，因此该结果衡量的是域内提示泛化能力，而非跨域提示能力。 ## 运行 MultiMatte MultiMatte 使用 [NoBg](https://github.com/feyninc/nobg) 构建，这也是我们用来训练 [FeyNoBg](https://usefeyn.com/blog/feynobg) 的同一个库。使用 `pip install nobg` 安装： ```python from nobg import AutoModel, AutoProcessor model = AutoModel.from_pretrained("feyninc/multimatte") processor = AutoProcessor.from_pretrained("feyninc/multimatte") # 使用模型的通用默认提示词。 cutout = model.predict(processor, "photo.jpg") cutout.save("output.png") # 指定要保留的概念。 cutout = model.predict(processor, "photo.jpg", "the dog") ``` `predict` 返回一个 RGBA 图像。传递 `return_type="tensor"` 可获取原始的抠图掩码。为便于使用，适配器已合并到发布的权重中。 在 [usefeyn.com/multimatte](https://usefeyn.com/multimatte) 试用 MultiMatte，处理你自己的图片。 MultiMatte 和 NoBg 由 **Feyn** 构建。我们可以在 [X](https://x.com/feynai)、[GitHub](https://github.com/feyninc) 或 [LinkedIn](https://www.linkedin.com/company/107081181/) 上找到。 ## 致谢 MultiMatte 构建于 Meta 的 SAM 3 之上。FlowDIS ([Sargsyan and Navasardyan, 2026](https://usefeyn.com/blog/multimatte/#ref-5)) 提供了用于训练和评估的手写 DIS5K 短语。Thinking Machines 的 LoRA 分析为适配器配置提供了参考。我们感谢数据集作者，他们发布的作品使得训练混合集和评估得以实现。 ## 参考文献 [1] Meta. "SAM 3: Segment Anything with Concepts." *arXiv:2511.16719* (2025). [2] Hu et al. "LoRA: Low-Rank Adaptation of Large Language Models." *arXiv:2106.09685* (2021). [3] Thinking Machines Lab. "LoRA Without Regret" (2025). https://thinkingmachines.ai/blog/lora/ [4] Lin et al. "Focal Loss for Dense Object Detection." *arXiv:1708.02002* (2017). [5] Sargsyan and Navasardyan. "FlowDIS: Language-Guided Dichotomous Image Segmentation with Flow Matching." *CVPR 2026. arXiv:2605.05077*. **引用本文** ```bibtex @note{multimatte2026, title = {MultiMatte: Keep What You Want, Cut the Rest}, author = {Hichri, Hafedh and Nigam, Shreyash and Feyn Research}, year = {2026}, venue = {Feyn Field Notes} } ```