@rohanpaul_ai:一个仅1B参数的视觉模型在深度估计上击败了7B模型,且是冻结状态、单线性层、零微调。@robbyant_brain…

X AI KOLs Timeline 模型

摘要

Robbyant发布了LingBot-Vision,一个基于边界训练的1B参数视觉模型,在深度估计上优于DINOv3-7B,且权重开放。

一个1B参数的视觉模型在深度估计上刚刚击败了一个7B模型,且是冻结状态、单线性层、零微调。 @robbyant_brain的LingBot-Vision:在NYU-Depth v2上RMSE为0.296,而DINOv3-7B为0.309。体积小7倍。权重开放。 诀窍:在边界上训练,而不仅仅是语义。 Robbyant发布了LingBot-Vision,这是全球首个空间原生视觉基础模型,代表了视觉预训练范式的转变。 大多数视觉基础模型都训练成对视觉变化保持稳定,因此即使在光照或角度变化时,它们也能很好地识别出“猫”、“椅子”或“桌子”。这对识别任务很有用,但机器人技术需要更复杂、更物理化的信息:物体的起点和终点在哪里,细电缆在哪里,透明杯在何处破坏了深度感知,以及机器人在移动时哪些边界应保持稳定。 LingBot-Vision 围绕边界进行训练。它自行学习携带边界的视觉标记,无需人工标注、无需外部边缘检测器,也无需从其他预训练主干开始。 这些边界标记随后成为密集视觉特征的训练目标,因此模型能够在区块级别学习场景结构,而不仅仅是学习高层语义。 结果是一个冻结的视觉主干,在深度估计、分割和视频目标跟踪上表现良好,包括在NYUv2深度上达到0.296 RMSE,优于7B参数的DINOv3的0.309,同时使用的参数少得多。 1.
查看原文
查看缓存全文

缓存时间: 2026/07/09 07:59

一个仅1B参数的视觉模型,在深度估计、冻结状态、单线性层、零微调的条件下,竟然击败了7B模型。

@robbyant_brain 的 LingBot-Vision:在NYU-Depth v2数据集上RMSE为0.296,而DINOv3-7B为0.309。模型大小仅为1/7。开放权重。

秘诀:在边界上训练,而非仅仅依赖语义。

Robbyant 发布了 LingBot-Vision,这是全球首个空间原生视觉基础模型,标志着视觉预训练范式的一次转变。

大多数视觉基础模型都经过训练,能够对视觉变化保持稳定,因此它们在识别“猫”、“椅子”或“桌子”时表现非常出色,即使光照或角度发生变化。

这对于识别任务很有用,但机器人需要更棘手、更物理的东西:物体的起点和终点在哪里,细线缆在哪里,透明杯子在哪里打破了深度感知,以及当机器人移动时,哪些边界应该保持稳定。

LingBot-Vision 是围绕边界训练的。 它自行学习承载边界的视觉标记,无需人工标注,无需外部边缘检测器,也无需从其他预训练骨干网络开始。

这些边界标记随后成为密集视觉特征的训练目标,因此模型能够在图像块级别学习场景结构,而不仅仅是学习高层语义。

结果是一个冻结的视觉骨干网络,在深度估计、分割和视频对象跟踪方面表现出色,包括在NYUv2深度估计上达到0.296 RMSE,优于拥有7B参数的DINOv3(0.309),同时参数数量少得多。

相似文章

Meta 在其自有许可协议下将 DINOv3 置于访问门槛之后。蚂蚁集团的 Robbyant 刚刚以 Apache-2.0 协议发布了完整的视觉骨干网络家族。当感知变得自由且轻量时,会发生什么?

Reddit r/ArtificialInteligence

蚂蚁集团旗下的具身智能公司 Robbyant 发布了 LingBot-Vision,这是一系列自监督视觉骨干网络,参数量从 21M 到 1.1B,采用 Apache-2.0 协议。尽管使用的训练数据不到 DINOv3 的三分之一,它在多个深度和分割基准测试中与 DINOv3 持平或超越,凸显了开放感知模型的推动力。