论文页面 - SOCO：视觉基础模型中语义对象对应关系的基准测试

来源：https://huggingface.co/papers/2605.31597

摘要

语义对象对应关系（Semantic Object Correspondence, SOCO）基准通过一致的部件级标注和关键点描述评估视觉模型中的结构化对象理解，揭示了基于语言的定位与视觉对应之间的差距，同时证明了对下游任务性能的强预测能力。

由于评估协议不一致和部件级监督有限，衡量视觉基础模型中的结构化对象理解仍然具有挑战性。语义对应关系（SC）通过测试对象部件是否能在不同实例和类别之间在大幅变化的外观、视角和几何形状下匹配来评估这一能力。为了进行系统的SC评估，我们引入了SOCO，一个新的语义对象对应关系基准，它提出了对应关系类型的分类法，并在100个类别和超过100万个对应关系对上提供一致、功能上有意义的关键点标注。此外，SOCO包含关键点语言描述，使得能够评估大型视觉-语言模型（LVLMs）及其细粒度的部件级理解。全面的实验揭示：(i) 视觉基础骨干网络编码了强大的语义结构，但在相关类别间传递对应关系较差，且仅部分捕捉对象-部件位置；(ii) LVLMs在文本提示的部件定位方面比视觉参考的跨图像匹配更强，暴露了基于语言的定位与细粒度视觉对应之间的差距；(iii) 对应关系性能比ImageNet分类更强地预测了密集下游任务的性能，包括分割、跟踪、3D姿态估计和3D检测。总之，这些发现使SOCO成为视觉和多模态基础模型中结构化、部件级表示质量的基准。

查看arXiv页面 (https://arxiv.org/abs/2605.31597)查看PDF (https://arxiv.org/pdf/2605.31597)项目页面 (https://genintel.github.io/SOCO/)GitHub3 (https://github.com/GenIntel/OmniProbe)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.31597)

在你的代理中获取本文：

hf papers read 2605.31597

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型 0

没有链接本文的模型

在模型的README.md中引用arxiv.org/abs/2605.31597以在此页面链接它。

引用本论文的数据集 1

GenIntelLab/SOCO 更新于大约22小时前 • 20 • 1 (https://huggingface.co/datasets/GenIntelLab/SOCO)

引用本论文的Space 0

没有链接本文的Space

在Space的README.md中引用arxiv.org/abs/2605.31597以在此页面链接它。

包含本论文的集合 0

没有包含本文的集合

将本文添加到集合 (https://huggingface.co/new-collection) 以在此页面链接它。