PixCon：面向基础模型半监督分割的干净正样本对比学习

Hugging Face Daily Papers 论文
semi-supervised-learning semantic-segmentation contrastive-learning foundation-models pixel-contrastive memory-banks

摘要

PixCon 提出了一种用于半监督语义分割的干净正样本像素对比框架，通过每类记忆库保证正样本集无污染，在 Pascal VOC、Cityscapes 和 ADE20K 等基准上的准确率优于现有方法。

半监督语义分割（SSSS）长期以来一直围绕一个问题展开：哪些伪标签值得信任？并通过越来越谨慎的置信度过滤来回答这个问题。基础骨干网络改变了这一格局：使用 DINOv2 教师模型时，严格的阈值已经能保留测量到的 98% 干净的伪标签集，因此剩余的精度不再取决于过滤器，而取决于嵌入空间如何按类别结构组织。我们提出 PixCon，一种干净正样本像素对比框架。PixCon 维护一个每类记忆库，仅接受学生模型已经正确分类的标注像素，从构造上保证无污染的正样本集（ρ_F=0），这与之前基于置信度过滤的伪标签构建的对比 SSSS 记忆库（如 ReCo、U^2PL）不同。它是在一致性骨干网络上的单分支结构，不增加推理时参数，也不需要针对记忆库的特定阈值。对监督 InfoNCE 梯度的一阶分析解释了污染为何有害：其假正项按 ρ_F/(1-ρ_F) 缩放，我们对此进行了测量（Pascal 上为 0.018，ADE20K 上为 0.106）而非假设。在 Pascal VOC、Cityscapes 和 ADE20K 上，PixCon 在计算量匹配的单次切换协议中匹配或改进了基于 DINOv2 的强基线 UniMatch V2：它改进了每个 Pascal-1/8 种子（每个种子约提升 +0.2 mIoU），其三种子均值达到 87.90，与已发表的 UniMatch V2-B 数据一致。由于在基础模型教师下污染已经罕见，我们的分析表明 ρ_F=0 的保证主要在教师模型变弱时起到鲁棒性作用，而精度提升来自更干净的正监督，这使得干净正样本对比成为基础模型 SSSS 的一种鲁棒且低成本的默认方案。
查看原文
查看缓存全文

缓存时间: 2026/07/07 06:42

论文页面 - PixCon：面向基础模型半监督分割的纯净正样本对比学习

来源：https://huggingface.co/papers/2607.03068

摘要

PixCon 是一个半监督语义分割框架，它利用基于每类内存库的纯净正样本像素对比学习，在现有方法基础上提升了准确性。

半监督语义分割 (https://huggingface.co/papers?q=Semi-supervised%20semantic%20segmentation)（SSSS）长期聚焦于一个核心问题：该信任哪些伪标签 (https://huggingface.co/papers?q=pseudo-labels)？而以往的解决方案往往依赖越来越严格的置信度过滤。基础模型骨干改变了这一格局：使用 DINOv2 教师模型 (https://huggingface.co/papers?q=DINOv2%20teacher) 时，即便采用严格的阈值，也能保留经过实测纯度达 98% 的伪标签集。因此，剩余的精度提升不再取决于过滤器，而在于嵌入空间如何按类别进行结构化组织。我们提出 PixCon，一种纯净正样本像素对比学习框架 (https://huggingface.co/papers?q=pixel-contrastive%20framework)。PixCon 维护一个每类内存库 (https://huggingface.co/papers?q=memory%20bank)，该内存库仅接纳学生模型已正确分类的标注像素，从而在构造上保证正样本集零污染 (https://huggingface.co/papers?q=contamination)（ρ_F=0），这与以往基于置信度过滤伪标签 (https://huggingface.co/papers?q=pseudo-labels) 构建的对比 SSSS 内存库（如 ReCo、U²PL）截然不同。PixCon 在一致性骨干 (https://huggingface.co/papers?q=consistency%20backbone) 上仅需单分支，不增加任何推理时参数，也无需针对内存库设定特定阈值。对监督 InfoNCE 梯度 (https://huggingface.co/papers?q=supervised-InfoNCE%20gradient) 的一阶分析揭示了污染 (https://huggingface.co/papers?q=contamination) 为何有害：其假正项与 ρ_F/(1−ρ_F) 成比例变化，我们对此进行了实测衡量（Pascal 上为 0.018，ADE20K 上为 0.106），而非凭空假设。在 Pascal VOC、Cityscapes 和 ADE20K 数据集上，PixCon 在计算量匹配的单次切换协议中，匹配或改进了基于 DINOv2 的强基线 UniMatch V2：它在每个 Pascal-1/8 种子上均有提升（每个种子约提升 +0.2 mIoU），三个种子的平均 mIoU 达到 87.90，与已发表的 UniMatch V2-B 指标持平。由于在基础模型教师指导下污染 (https://huggingface.co/papers?q=contamination) 已属罕见，我们的分析表明，ρ_F=0 的保证主要起到健壮性作用——当教师模型能力减弱时尤为明显——而精度提升主要源于更纯净的正样本监督，这使得纯净正样本对比成为基础模型 SSSS 中一种健壮、低成本的默认选择。

查看 arXiv 页面 (https://arxiv.org/abs/2607.03068)查看 PDF (https://arxiv.org/pdf/2607.03068)项目页面 (https://huggingface.co/spaces/psychofict/pixcon-demo)GitHub0 (https://github.com/psychofict/PixCon)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.03068)

在你的智能体中获取本文：

hf papers read 2607.03068

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 3

psychofict/pixcon-pascal 图像分割•31分钟前更新 (https://huggingface.co/psychofict/pixcon-pascal)

psychofict/pixcon-cityscapes 图像分割•31分钟前更新 (https://huggingface.co/psychofict/pixcon-cityscapes)

psychofict/pixcon-ade20k 图像分割•31分钟前更新 (https://huggingface.co/psychofict/pixcon-ade20k)

引用本文的数据集 0

暂无数据集关联本文

请在数据集的 README.md 中引用 arxiv.org/abs/2607.03068 以将其链接到此页面。

引用本文的 Space 1

包含本文的收藏集 0

暂无可收藏包含本文

请将本文添加至收藏集 (https://huggingface.co/new-collection) 以将其链接到此页面。

相似文章

@lukaskuhn77: 我们推出了LeVLJEPA：首个完全非对比的端到端视觉语言预训练方法，性能可与C…相竞争。

X AI KOLs Following

LeVLJEPA是首个完全非对比的端到端视觉语言预训练方法，无需负样本、温度参数或动量编码器，性能即可与CLIP和SigLIP相媲美。它通过跨模态预测（使用停止梯度目标）和每模态分布正则化进行学习，为下游任务（如VLM主干网络和语义分割）提供更强的密集语义特征。

面向密集空间感知的视觉预训练

Hugging Face Daily Papers

本文提出了一种名为掩码边界建模（masked boundary modeling）的自监督视觉预训练范式，该范式通过学习亚像素边界表示来提升密集空间感知能力。由此得到的模型LingBot-Vision在深度估计及其他下游任务中展现出显著改进，证明边界建模是一种可扩展的预训练原则，可用于学习空间结构化的视觉表示。

表征先于像素：语义引导的分层视频预测

Hugging Face Daily Papers

Re2Pix 是一个分层视频预测框架，通过首先使用冻结的视觉基础模型预测语义表征，然后将这些预测作为条件输入到潜在扩散模型中以生成逼真的帧，从而改进未来视频生成。该方法通过嵌套丢弃和混合监督策略解决了训练-测试不匹配问题，在自动驾驶基准测试中实现了更好的时间语义一致性和感知质量。