我观看了一个机器人以真实速度跟上冰球，它预测比赛而非仅做出反应

我一直在深入研究机器人控制模型，终于有一个区别让我豁然开朗。你在演示中看到的大多数机械臂都是反应式的。摄像头传来一帧画面，模型输出下一个电机指令，如此重复。这种方法有效，但在处理快速或长周期任务时，机器人往往会滞后或失去线索，因为它只考虑当前瞬间。较新的思路是赋予机器人类似于想象力的能力。模型不再直接将摄像头图像映射到动作，而是首先预测场景在未来片刻将如何变化，然后在这个预测的未来中选择动作。每当真实摄像头帧返回时，模型会修正预测，以免偏离实际。这样就形成了一个快速的"预测-修正"循环，而非纯反应。让我具体理解这一点的是名为LingBot-VA 2.0的模型，它在真实机器人上以正常速度运行。在一个片段中，机器人能够跟上移动中的空气曲棍球；在另一个片段中，它从移动的传送带上拾取物体——这两种情况都会惩罚滞后反应策略。它还能仅从10到15次演示中适应新任务，并且可以通过观看简短的人类视频来学习任务，而无需用语言告知。为了不让本文读起来像新闻稿，需要坦诚说明两点限制。他们报告的唯一外部基准是模拟基准RoboTwin，在该基准中，双臂任务的平均成功率约为93.6%。那些引人注目的现实世界任务是他们的内部测试，以柱状图形式展示，并非共享基准，因此应将其视为演示而非独立验证。此外，与所有机器人视频一样，未剪辑的1倍速并不能证明在镜头外没有重试。我会在评论中提供来源和完整注意事项。尽管如此，从反应式到"预测-行动"的转变，我认为是真正值得关注的部分，因为正是同样的思路使得长周期或快速任务变得可行。我很好奇这里的人是否认为基于预测的控制是未来的方向，或者拥有足够数据的反应式策略也能弥补差距。