基于提示分歧的开放词汇语义分割偏好引导适应方法

Hugging Face Daily Papers 论文

摘要

本文介绍了一种用于开放词汇语义分割的偏好引导适应框架,该框架利用提示分歧生成二元偏好,消除了对密集像素级标注的需求,并在专业领域中提高了性能。

开放词汇语义分割(OVSS)能够对任意文本指定的词汇表进行像素级预测,并在常见基准测试中表现出强大的泛化能力。然而,OVSS的性能在医学成像、遥感和工业检测等专业领域中常常下降,因为在这些领域中获取用于适应的密集像素级掩码成本高昂且需要领域特定的专业知识。我们提出了一种偏好引导适应框架,用二元偏好取代密集掩码监督。我们观察到,不同的提示模板对同一图像产生系统性不同的分割结果,我们将此现象称为提示分歧,并重新将其用作内置的偏好监督源。基于此,我们从高跨模板不确定性的区域中挖掘局部化偏好查询,并使用区域局部化偏好优化(RLPO)结合一致性正则化来适应OVSS模型,该正则化稳定查询区域外的更新。在MESS基准测试的广泛实验中,所提方法在没有任何像素级标注的情况下,在不同的OVSS骨干网络上实现了一致的性能提升,并且在有噪声偏好时仍然有效。我们的代码可在 https://github.com/blue-531/pref-ovss 获取。
查看原文
查看缓存全文

缓存时间: 2026/09/30 04:14

论文页面 - 基于提示分歧的偏好引导式开放词汇语义分割适配

来源:https://huggingface.co/papers/2609.34528

摘要

开放词汇语义分割(OVSS)能够基于任意文本指定的词汇表实现像素级预测,在常见基准测试中展现出强大的泛化能力。然而,在医学影像、遥感和工业检测等专业领域,OVSS的性能往往会下降,因为获取适应所需的密集像素级标注成本高昂且需要领域专业知识。我们提出一种偏好引导的适配框架,用二元偏好替代密集掩码监督。我们观察到不同的提示模板对同一图像会产生系统性的不同分割结果——我们将此现象称为提示分歧,并将其改造为内置的偏好监督源。在此基础上,我们从高跨模板不确定性的区域挖掘局部偏好查询,并结合一致性正则化,通过区域局部化偏好优化(RLPO)来适配OVSS模型,该正则化可稳定查询区域外的更新。在MESS基准测试的大量实验中,所提方法在不使用任何像素级标注的情况下,为多种OVSS骨干网络带来持续的性能提升,并且在存在噪声偏好时仍保持有效性。我们的代码已在https://github.com/blue-531/pref-ovss发布。

查看arXiv页面 (https://arxiv.org/abs/2609.34528) 查看PDF (https://arxiv.org/pdf/2609.34528) 项目页面 (https://blue-531.github.io/pref-ovss/) GitHub (https://github.com/blue-531/pref-ovss) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.34528)

在您的智能助手中获取本文:

hf papers read 2609.34528

没有最新CLI?请运行 curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型链接本文

在模型README.md中引用 arxiv.org/abs/2609.34528 即可从此页面链接。

引用本文的数据集 0

暂无数据集链接本文

在数据集README.md中引用 arxiv.org/abs/2609.34528 即可从此页面链接。

引用本文的空间 0

暂无空间链接本文

在空间README.md中引用 arxiv.org/abs/2609.34528 即可从此页面链接。

包含本文的合集 0

暂无合集包含本文

将本文添加到合集 (https://huggingface.co/new-collection) 即可从此页面链接。

相似文章

通过自动分割和块蒸馏实现块注意力泛化

arXiv cs.CL

本文介绍了SemanticSeg,一个用于长文本语义分割的大规模数据集,以及块蒸馏(block distillation)训练框架,该框架使块注意力模型能够接近全注意力性能,从而在RAG和长上下文场景中改善KV缓存复用。

生成式推荐中的难度感知语义ID优化

arXiv cs.AI

本文提出DASO,一种针对生成式推荐的树感知后训练方法,通过分析rollout组并根据前缀匹配深度重新分配,解决GRPO中的难度不匹配问题,在公开基准测试中提升性能。

PreviewDiff:扩散隐空间上的多模态评审引导搜索

Hugging Face Daily Papers

PreviewDiff 提出一种免训练的测试时搜索方法,将扩散采样转化为对中间隐变量的多模态评审引导搜索,从而在图像与视频生成中,超越计算预算相当的 Best-of-N 基线,提升组合式提示词的遵循程度。