Meta 在其自有许可协议下将 DINOv3 置于访问门槛之后。蚂蚁集团的 Robbyant 刚刚以 Apache-2.0 协议发布了完整的视觉骨干网络家族。当感知变得自由且轻量时,会发生什么?
摘要
蚂蚁集团旗下的具身智能公司 Robbyant 发布了 LingBot-Vision,这是一系列自监督视觉骨干网络,参数量从 21M 到 1.1B,采用 Apache-2.0 协议。尽管使用的训练数据不到 DINOv3 的三分之一,它在多个深度和分割基准测试中与 DINOv3 持平或超越,凸显了开放感知模型的推动力。
蚂蚁集团旗下的具身智能公司 Robbyant 发布了 LingBot-Vision,这是一系列自监督视觉骨干网络,参数量从 21M 到 1.1B。其宣称的使命是为所有机器人构建一个大脑。所有模型均以 Apache-2.0 协议发布在 HuggingFace 和 GitHub 上。此次发布包含代码、预训练权重以及一个项目页面,页面中提供了八种方法的交互式点云比较。这不是一篇只承诺稍后提供权重的论文发布。权重现已上线。该架构属于 DINO 系列,但加入了一个创新点:他们称之为掩码边界建模。教师网络在线预测一个密集的边界场,携带边界的 token 被强制纳入学生网络的掩码中。边界场被重新表述为逐像素的类别分布以保持自蒸馏的稳定性,解码后的片段需通过 a-contrario 验证测试。无需标签、无需文本监督、无需外部边缘检测器。他们在 1.61 亿张精选图像上进行训练,据他们报告,这不到 DINOv3 训练样本的三分之一。根据他们使用冻结线性探测协议自行报告的数据,旗舰模型 ViT-g(1.1B 参数)在 NYUv2 深度任务上达到 0.296 RMSE,优于 DINOv3-7B 的 0.309。蒸馏后的 ViT-L(约 0.310 RMSE)基本持平 DINOv3-7B 的分数,而参数量仅为后者的约二十三之一。但也有一些劣势:在 KITTI 深度任务上,LingBot 得分为 2.552,而 DINOv3-7B 为 2.346。在 ImageNet 线性探测上,旗舰模型落后于 DINOv3-7B,但 ViT-B 和 ViT-S 变体据称在其尺寸类别中领先。在分割任务方面,他们报告在 ADE20K、Cityscapes 和 VOC 上大致与蒸馏版 DINOv3 ViT-H+ 相当,各有胜负。下游产品是 LingBot-Depth 2.0,一个深度补全模型,能填补 RGB-D 传感器在玻璃、镜面和透明表面上的空洞。这些权重并未开源。仅开放了四个视觉骨干网络。此外,你需要使用他们的自定义推理库,而非普通的 transformers 或 timm。ViT-L 在 fp16 下约为 0.6GB。感知层(而非对话层)才是机器人实际运行的内容。它是将传感器输入转化为系统可操作信息的原始空间理解。当这一层变得足够轻量以在边缘硬件上运行,并且足够自由以无许可摩擦地修改时,其上层的架构就会发生变化。一个 21M 参数的变体据称在其尺寸类别中领先,这改变了你能嵌入廉价相机模块的内容。有趣的对比在于发布策略,而非地域。Meta 在其自有封闭许可协议下发布了 DINOv3,而非 OSI 批准协议。Robbyant 发布了四个规格,采用 Apache-2.0 协议,无门槛。如果密集空间任务持续走向开放,而生成式视频保持封闭且以 API 为门槛,我们是否会面临一个分裂的世界:物理 AI 运行在开放感知之上,数字 AI 运行在封闭生成之上?或者这种压力最终会迫使封闭实验室也发布视觉权重?
相似文章
@AdinaYakup: LingBot Vision 来自蚂蚁集团的一种用于密集空间感知的自监督视觉骨干网络家族 @robbyant_brain - A…
LingBot Vision 是蚂蚁集团推出的一种自监督视觉骨干网络家族,它采用掩码边界建模方法,在密集空间感知任务上取得了领先性能,在 NYU-Depth v2 基准上超越了更大的 DINOv3 模型。
蚂蚁集团发布LingBot-Vision:DINO系列视觉骨干网络,提供四种规模,其中0.3B参数的ViT-L在NYUv2深度估计任务上以约23倍更少的参数量达到与DINOv3-7B相当的性能
蚂蚁集团发布了LingBot-Vision,这是一个包含四种规模的DINO风格视觉骨干网络系列;其中0.3B ViT-L在NYUv2深度估计任务上,以约23倍更少的参数量达到了DINOv3-7B的性能,展现了显著的效率提升。
@AdinaYakup: 由新的LingBot Vision驱动 https://huggingface.co/collections/robbyant/lingbot-vision… - Apache 2.0 - 4个版本…
LingBot Vision是一个新的视觉基础模型,在Apache 2.0许可下发布,提供四种尺寸(small, base, large, giant),并使用掩码边界建模进行预训练。它驱动了一个在多个基准测试中名列前茅的深度估计系统。
@rohanpaul_ai:一个仅1B参数的视觉模型在深度估计上击败了7B模型,且是冻结状态、单线性层、零微调。@robbyant_brain…
Robbyant发布了LingBot-Vision,一个基于边界训练的1B参数视觉模型,在深度估计上优于DINOv3-7B,且权重开放。
@robbyant_brain: LingBot-VLA 2.0 现已开源——我们新一代的具身基础模型。6万小时高质量预训练数据…
LingBot-VLA 2.0,一个开源的具身基础模型,已发布,拥有6万小时预训练数据,支持17个品牌的20种机器人配置,在RTX 4090上推理时间低于130毫秒。