基于提示分歧的开放词汇语义分割偏好引导适应方法
摘要
本文介绍了一种用于开放词汇语义分割的偏好引导适应框架,该框架利用提示分歧生成二元偏好,消除了对密集像素级标注的需求,并在专业领域中提高了性能。
查看缓存全文
缓存时间: 2026/09/30 04:14
论文页面 - 基于提示分歧的偏好引导式开放词汇语义分割适配
来源:https://huggingface.co/papers/2609.34528
摘要
开放词汇语义分割(OVSS)能够基于任意文本指定的词汇表实现像素级预测,在常见基准测试中展现出强大的泛化能力。然而,在医学影像、遥感和工业检测等专业领域,OVSS的性能往往会下降,因为获取适应所需的密集像素级标注成本高昂且需要领域专业知识。我们提出一种偏好引导的适配框架,用二元偏好替代密集掩码监督。我们观察到不同的提示模板对同一图像会产生系统性的不同分割结果——我们将此现象称为提示分歧,并将其改造为内置的偏好监督源。在此基础上,我们从高跨模板不确定性的区域挖掘局部偏好查询,并结合一致性正则化,通过区域局部化偏好优化(RLPO)来适配OVSS模型,该正则化可稳定查询区域外的更新。在MESS基准测试的大量实验中,所提方法在不使用任何像素级标注的情况下,为多种OVSS骨干网络带来持续的性能提升,并且在存在噪声偏好时仍保持有效性。我们的代码已在https://github.com/blue-531/pref-ovss发布。
查看arXiv页面 (https://arxiv.org/abs/2609.34528) 查看PDF (https://arxiv.org/pdf/2609.34528) 项目页面 (https://blue-531.github.io/pref-ovss/) GitHub (https://github.com/blue-531/pref-ovss) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.34528)
在您的智能助手中获取本文:
hf papers read 2609.34528
没有最新CLI?请运行 curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型 0
暂无模型链接本文
在模型README.md中引用 arxiv.org/abs/2609.34528 即可从此页面链接。
引用本文的数据集 0
暂无数据集链接本文
在数据集README.md中引用 arxiv.org/abs/2609.34528 即可从此页面链接。
引用本文的空间 0
暂无空间链接本文
在空间README.md中引用 arxiv.org/abs/2609.34528 即可从此页面链接。
包含本文的合集 0
暂无合集包含本文
将本文添加到合集 (https://huggingface.co/new-collection) 即可从此页面链接。
相似文章
PixCon:面向基础模型半监督分割的干净正样本对比学习
PixCon 提出了一种用于半监督语义分割的干净正样本像素对比框架,通过每类记忆库保证正样本集无污染,在 Pascal VOC、Cityscapes 和 ADE20K 等基准上的准确率优于现有方法。
通过自动分割和块蒸馏实现块注意力泛化
本文介绍了SemanticSeg,一个用于长文本语义分割的大规模数据集,以及块蒸馏(block distillation)训练框架,该框架使块注意力模型能够接近全注意力性能,从而在RAG和长上下文场景中改善KV缓存复用。
生成式推荐中的难度感知语义ID优化
本文提出DASO,一种针对生成式推荐的树感知后训练方法,通过分析rollout组并根据前缀匹配深度重新分配,解决GRPO中的难度不匹配问题,在公开基准测试中提升性能。
你由提示定义:农业食品视觉语言模型中的提示质量、领域偏移与不确定性
本文研究农业食品视觉语言模型中的提示集成和领域偏移,引入基于提示的不一致性检测(PID)以增强可靠性,利用提示分歧作为不确定性代理。
PreviewDiff:扩散隐空间上的多模态评审引导搜索
PreviewDiff 提出一种免训练的测试时搜索方法,将扩散采样转化为对中间隐变量的多模态评审引导搜索,从而在图像与视频生成中,超越计算预算相当的 Best-of-N 基线,提升组合式提示词的遵循程度。