关于这个机器人在1倍速下从移动传送带上抓取物体,有什么看法?
摘要
一个使用LingBot-VA 2.0视频动作模型的机器人,以1倍速实时从移动传送带上抓取物体,它预测未来运动而不仅仅是反应当前帧。
在深入探索机器人控制的过程中发现了这个,它让我印象深刻。传送带一直在移动,所以目标从来不会静止,这通常是导致机器人反应滞后或抓取失败的原因。但这款机器人通过预测场景即将发生的变化并据此行动,然后在每个新的摄像头帧上进行校正,而不是只对当前时刻做出反应。它使用的视频动作模型叫LingBot-VA 2.0。视频是1倍速无剪辑,所以没有加速。我会在评论中附上来源和真实的限制,而不是在这里过度宣传。好奇这里的人怎么看。
相似文章
我观看了一个机器人以真实速度跟上冰球,它预测比赛而非仅做出反应
本文讨论了机器人控制从反应式向基于预测的转变,重点介绍了LingBot-VA 2.0模型,该模型能够跟上快速移动的物体(如空气曲棍球),并且仅需少量演示即可学习。
@rohanpaul_ai: 大多数视频动作机器人模型都是带有动作模块的内容创作视频生成器。LingBot-VA 2.0 fr…
LingBot-VA 2.0 是一个从头开始为机器人控制训练的视频动作基础模型,实现了 225 Hz 的闭环执行,具有 13B 参数(每个 token 激活 1.9B),并在 RoboTwin 2.0 上优于之前的模型。
@songhan_mit:探索 VLASH:通过未来状态感知异步推理实现的实时 VLA
MIT 研究人员开发了 VLASH,这是一种使视觉-语言-动作模型能够预测未来机器人状态的方法,在拾取放置和乒乓球等任务中速度加倍并减少延迟。
机器人延迟也是一个恢复问题
机器人平均而言可以很快,但当场景变化时仍可能失败;LingBot-VA 2.0 设计通过将前瞻推理与重定位相结合解决了这个问题,在确保状态与真实接近的同时实现了四倍的速度提升。
X Square Robot 在现实物流运营中演示具身智能
X Square Robot 在直播中演示了其具身智能模型 WALL-B 和高性能六轴机器人手臂,在现实物流操作中自主分拣包裹,实现了每小时1,816个包裹的分拣速度,准确率超过98%。