@rohanpaul_ai: 大多数视频动作机器人模型都是带有动作模块的内容创作视频生成器。LingBot-VA 2.0 fr…

大多数视频动作机器人模型本质上是一个内容生成的视频生成器，外加一个动作模块。

来自@robbyant_brain的LingBot-VA 2.0 是一款视频动作基础模型，它彻底抛弃了这个起点，从头开始原生地为控制任务训练整个技术栈。

而且它能够以峰值225 Hz的频率进行闭环运行。

这一点至关重要，因为当机器人的控制器停下来“想象”接下来几帧的画面时，机器人就无法做出快速响应。LingBot-VA 2.0 在执行过程中进行预测，然后利用每一次真实的观测数据进行校正。

它仅有大约130亿的视频参数，而每个token激活的参数大约为19亿。更大的机器人模型通常意味着更慢的响应速度，这就造成了智能与控制之间的直接冲突。

LingBot-VA 2.0 是为机器人控制而从头训练的，而非从为内容创作构建的视频生成器改造而来。

Robbyant，作为蚂蚁集团旗下的具身智能公司，开发了这款模型，使其能够学习在动作作用下场景如何变化，预测接下来会发生什么，并将这些预测转化为实时的机器人运动。

大多数视频动作系统继承了一个主要用于重现视觉外观的分词器和视频骨干网络。LingBot-VA 2.0 则围绕物理控制重建了这两个部分。

它的语义视觉动作分词器将观测映射到来自冻结视觉基础模型的特征，并利用自我监督的逆向和前向动力学，从帧间变化中学习紧凑的潜在动作。因此，未标记的网络视频也能够携带与动作相关的训练信号，而无需机器人动作标签。

该策略从一开始就是因果式的，因此每个预测只能依赖过去的观测数据。

其稀疏的混合专家视频骨干网络总参数约为130亿，而每个token激活的参数约为19亿，从而在每个推理步骤中降低了计算量。一个高层级的视觉语言规划器将长任务分解为较小的指令，而低层级的视频动作策略则负责处理连续的运动。

前瞻推理（Foresight Reasoning）在机器人已经行动的同时预测未来的视觉状态，然后利用每一次新的真实观测数据替换想象的画面。结合少步蒸馏和系统加速，论文报告了峰值异步执行频率达到225 Hz。

该模型能够从10-15次演示中适应，跨机器人形态迁移，并且在部分新任务上实现零样本处理。

在论文自身的评估中，它在RoboTwin 2.0上达到了93.6的平均分，并报告了在测试任务上比LingBot-VA和π0.5更强的实际世界结果。