面向密集空间感知的视觉预训练

Hugging Face Daily Papers 论文
vision-pretraining spatial-perception boundary-modeling self-supervised-learning depth-estimation embodied-ai

摘要

本文提出了一种名为掩码边界建模（masked boundary modeling）的自监督视觉预训练范式，该范式通过学习亚像素边界表示来提升密集空间感知能力。由此得到的模型LingBot-Vision在深度估计及其他下游任务中展现出显著改进，证明边界建模是一种可扩展的预训练原则，可用于学习空间结构化的视觉表示。

密集空间感知对于物理智能至关重要，视觉系统需要从像素观测中恢复结构化、度量化和可操作的表示。现代视觉基础模型往往优先考虑语义不变性，但常常以牺牲空间细节理解为代价。在这项工作中，我们从边界中心的视角研究视觉预训练，其动机在于边界和形状不连续为感知几何属性提供了关键线索。具体而言，我们提出了掩码边界建模（masked boundary modeling），这是一种自监督范式，能够动态学习亚像素边界表示，并随后利用发现的包含边界信息的标记作为掩码目标，以促进密集视觉标记学习。通过扩展这一框架，我们开发了LingBot-Vision，并以DINOv3作为强基线，在多种下游视觉任务中展示了其有效性。值得注意的是，LingBot-Vision推动了从LingBot-Depth 1.0到LingBot-Depth 2.0在深度补全方面的进展，从而提升了深度估计——这是具身人工智能的一个关键支柱。我们的发现表明，边界建模不仅仅是简单的线段，而是作为一种可扩展的预训练原则，用于学习空间结构化的视觉表示。
查看原文
查看缓存全文

缓存时间: 2026/07/07 06:42

论文页面 - 面向密集空间感知的视觉预训练

来源：https://huggingface.co/papers/2607.05247 发布于 7月6日

·

提交者 https://huggingface.co/cherubicxn

Nan (https://huggingface.co/cherubicxn) 于 7月7日

摘要

边界建模通过学习亚像素级表征来增强深度估计，并支持具身 AI 应用，从而实现密集空间感知。

密集空间感知（https://huggingface.co/papers?q=spatial%20perception）对于物理智能至关重要，其中视觉系统需要从像素观测中恢复出结构化、度量化且可操作的表征。现代视觉基础模型（https://huggingface.co/papers?q=visual%20foundation%20models）倾向于优先考虑语义不变性，往往以牺牲详细的空间理解为代价。在这项工作中，我们通过以边界为中心的视角研究视觉预训练，其动机源于边界和形状不连续性能为感知几何属性提供关键线索。具体而言，我们提出了掩码边界建模（https://huggingface.co/papers?q=masked%20boundary%20modeling），这是一种自监督范式，能够动态学习亚像素边界表征，并随后利用发现的承载边界令牌作为掩码目标，以促进密集视觉令牌学习（https://huggingface.co/papers?q=dense%20visual%20token%20learning）。通过扩展这一框架，我们开发了 LingBot-Vision，并以 DINOv3（https://huggingface.co/papers?q=DINOv3）作为强基线，在多种下游视觉任务上展示了其有效性。值得注意地，LingBot-Vision 推动了从 LingBot-Depth 1.0 到 LingBot-Depth 2.0 的深度补全（https://huggingface.co/papers?q=depth%20completion）进展，从而实现了更优的深度估计，这是具身人工智能（https://huggingface.co/papers?q=embodied%20artificial%20intelligence）的关键支柱。我们的研究结果表明，边界建模（https://huggingface.co/papers?q=boundary%20modeling）超越了简单的线段概念，而是作为一种可扩展的预训练原则，用于学习空间结构化的视觉表征。

查看 arXiv 页面 (https://arxiv.org/abs/2607.05247) 查看 PDF (https://arxiv.org/pdf/2607.05247) 项目页面 (https://technology.robbyant.com/lingbot-vision) GitHub65 (https://github.com/Robbyant/lingbot-vision) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.05247)

在你的 agent 中获取这篇论文：

hf papers read 2607\.05247

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2607.05247 即可从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.05247 即可从此页面链接。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2607.05247 即可从此页面链接。

包含此论文的收藏1

相似文章