关于这个机器人在1倍速下从移动传送带上抓取物体,有什么看法?
摘要
一个使用LingBot-VA 2.0视频动作模型的机器人,以1倍速实时从移动传送带上抓取物体,它预测未来运动而不仅仅是反应当前帧。
在深入探索机器人控制的过程中发现了这个,它让我印象深刻。传送带一直在移动,所以目标从来不会静止,这通常是导致机器人反应滞后或抓取失败的原因。但这款机器人通过预测场景即将发生的变化并据此行动,然后在每个新的摄像头帧上进行校正,而不是只对当前时刻做出反应。它使用的视频动作模型叫LingBot-VA 2.0。视频是1倍速无剪辑,所以没有加速。我会在评论中附上来源和真实的限制,而不是在这里过度宣传。好奇这里的人怎么看。
相似文章
我观看了一个机器人以真实速度跟上冰球,它预测比赛而非仅做出反应
本文讨论了机器人控制从反应式向基于预测的转变,重点介绍了LingBot-VA 2.0模型,该模型能够跟上快速移动的物体(如空气曲棍球),并且仅需少量演示即可学习。
LingBot-Video: 稀疏MoE视频扩散Transformer(总参数13B,激活参数1.4B)后训练为动作条件世界模型[R]
LingBot-Video是一个13B的稀疏MoE视频扩散Transformer(1.4B激活参数),通过强化学习后训练为动作条件世界模型,权重和代码已开源。它包含一个由VLM评分的物理合理性奖励,并将其自身定位为策略评估器和动作规划器,但缺少闭环机器人实验结果。
@svpino:我真的很想知道这些机器人的驱动方式。它们是自动的还是由人员远程监控?如果是前者,…
一位推特用户质疑一段机器人(LingBot2)视频展示的是完全自主运行还是远程监控,并指出答案很快会揭晓。
@RemiCadene:UMA_Robots 开发的人工智能在拾取和扫描物品时表现出可变形、湿滑、薄巧、易碎的特性,我们最后还搞了点事 :)
UMA_Robots 开发的人工智能展示了拾取和扫描可变形、湿滑、薄巧且易碎物品的能力。
IntentVLA: 针对混叠机器人操作的短期意图建模
IntentVLA 是一种历史条件视觉-语言-动作框架,通过从视觉观察中编码短期意图来提高机器人模仿学习的稳定性,解决了部分可观察性和模糊观察带来的挑战。它还引入了 AliasBench,这是一个用于评估此类方法的模糊感知基准。