关于VLA的新博文！

VLA是机器人领域最热门的话题之一，原因也很充分。这篇博客文章梳理了从RT1到MolmoAct2的架构最新进展，以及我的思考。

请一定去看看，也欢迎RT/QT支持一下:) https://t.co/rR5YIDR20j

从RT1到MolMoAct2：VLA简史

引言

Vision-Language-Action Model（视觉-语言-动作模型）是我在刚开始在Twitter的机器人学习社区中频繁遇到的词汇之一。2026年，每一个“机器人的GPT时刻“都让我感到有趣的是：机器人领域尚未就“什么才是真正值得规模化的核心问题“达成共识，人们对不同方法各有强烈押注，VLA便是其中之一。

我想理解我们是如何走到今天这一步的，从RT-1到MolmoAct 2这样的新模型究竟发生了什么变化，以及哪些架构决策让这些系统真正奏效了。这篇博客是我追溯这一演进过程、理解其中权衡取舍的尝试，同时也做了一些小实验。说到底，这也是更新我自己对机器人学习世界模型的一个借口。

但为什么我们需要VLA？

想象一个机械臂正在执行一项抓取-放置任务，走到一半时有人把料盒往左移动了两英寸。它没抓到。再试一次。又没抓到。最后它停下来了。

这不是传感器故障，也不是标定问题。这是机器人构建方式的根本问题：它们是为精确条件训练的，一旦条件发生哪怕轻微偏移，它们就崩溃了。它们能看，能动。它们做不到的是对所见之物进行推理并决定下一步该做什么。

一个非常简单的VLA架构

一个非常简单的VLA架构

很长一段时间里，这两个理念各自成熟，但从未被完整地连接在一起。

视觉-语言模型变得相当强大。GPT-4V、Gemini和LLaVA能够看一张图片并回答相关问题。你可以展示一张杂乱的桌面，问杯子在哪里或缺了什么，它们会给出合理的答案。但它们做不到伸出机械臂或移动任何东西：

• 推理完全发生在模型内部。

• 没有输出信号给电机/没有与物理世界的连接。

• 基本上在理解方面很强，但无法采取行动。

另一方面，经典机器人控制在工业机器人领域已使用了数十年。工厂机械臂、抓取-放置系统可靠、快速且精确，但在特定意义上是脆弱的。每个系统都为单一任务、单一环境和特定条件而训练或编程。一旦任何东西发生变化，系统就崩溃了：

• 物体移动几厘米，它就错过目标。

• 任何未见过的东西它就直接停止工作，光照变化导致性能下降。

所以经典的操纵方式没有泛化能力，因为它只是模式匹配，没有思考。对于智能机器人来说，泛化是必需的，VLA看起来是一条有前景的道路。

回想起来，催生VLA的洞见其实很直接。利用视觉-语言模型的推理能力，并赋予它一种新的输出模态（动作头）。

因此，在机器人演示数据上进行端到端训练后，最初的结果显示它确实实现了迁移，这表明模型理解和场景、遵循指令的能力更好地延续到了物理任务中，优于单纯的模仿学习。

视觉-语言-动作模型

TL;DR：视觉-语言-动作（VLA）模型接收摄像头观测和自然语言指令，预测机器人命令，从而替代了经典的分离式感知和控制流水线。这种架构转变使机器人能够泛化到未经明确训练的条件（虽然这取决于模型和训练方式），而脚本化和经典控制系统则无法做到。

通用VLA架构

通用VLA架构

让我们通过一个例子来理解其工作原理。想象一个机器人面对一个红色杯子，你告诉它“拿起红色杯子“。摄像头图像通过视觉编码器，将图像块转换为视觉特征嵌入，语言指令经过分词后转换为文本嵌入。许多模型还接受机器人状态信息（如关节角度和夹爪开度）作为输入，并映射为嵌入。

接下来，Transformer同时处理这些信息。对于“拿起红色杯子“这样的指令，它将指令与图像中的杯子及其相对于夹爪的位置联系起来。这些信息在内部被表示。

来到动作头，它利用这种表示来预测运动，例如夹爪位置变化、旋转和开度。有些模型预测离散化的动作token，有些直接预测连续值，还有些使用扩散/流匹配。许多模型会一次性预测多个未来动作，称为动作块（action chunk）。

然后机器人控制器执行这些命令，我们获得更新的图像和机器人状态，然后重复。在训练方面，许多VLA从预训练的VLM开始，从包含图像、指令和相应动作的机器人演示中学习。基本上，这些演示教会模型如何将其所见和我们所要求的内容与其应执行的运动联系起来。

VLA简史

可乐罐演示

这可能是现代机器人领域最重大的时刻。2023年，一位Google的研究员在桌上摆了一个可乐罐、Tom Cruise、Snoop Dogg和Taylor Swift的照片，然后让Google最新的机器人大脑RT2把可乐罐移到Taylor Swift那里。RT2太大了，无法在机器人上直接运行。机器人将其车载摄像头的图像一张一张发送到TPU集群，集群返回控制信号。由RT2控制的机器人缓慢地拿起可乐罐，笨拙地把它放在Taylor Swift照片的边缘。2025年，该团队的研究员之一Carol Hausman描述说，那一刻他清楚地意识到这会成功。

在2023年可乐罐演示的一年内，Hausman和RT2团队的许多核心成员离开了Google，重新集结成立了Physical Intelligence。此后机器人变得更加出色。Physical Intelligence最新的机器人大脑可以打开挂锁、折叠你的衣物、剥橙子、做烤奶酪三明治、煮咖啡，以及清理它们从未见过的卧室和厨房。

SayCan：用语言模型进行规划

2022年，ChatGPT发布的那一年，Google的研究员开始探索大语言模型在机器人领域可能扮演什么角色。他们的第一个重要成果是一个名为SayCan的系统。基本上，他们使用大语言模型作为规划系统，将复杂任务分解为子任务。例如，SayCan可以将清理溢出物分解为找到海绵、拿起海绵、走向溢出物等子任务。一旦SayCan中的LLM决定了拿起海绵，一个完全独立的、经过训练来模仿人类控制机器人执行各种小任务的神经网络，就被用来计算实际的机器人控制信号。这意味着SayCan实际上被限制在LLM可以从菜单中选择的动作列表内。

这时RT-1登场了。

RT-1：学习统一的机器人策略

RT-1是Google Robotics的Robotics Transformer 1模型，在130k条成功的机器人轨迹、13台机器人和700个任务上训练了超过17个月。其核心思想是：给定自然语言指令+摄像头图像，输出用于机械臂、底盘和模式选择的离散动作token。

模型每次接收一条自然语言指令+6张图像，输出离散动作token（包含11个分量——3个机械臂平移、3个机械臂旋转、夹爪移动、底盘平移和旋转3个以及机械臂/底盘/终止的模式选择）。

RT-1由FiLM EfficientNet + TokenLearner + Transformer组成。首先，他们使用Universal Sentence Encoder处理语言指令，它将完整句子转换为固定大小的向量，不包含执行显式推理过程的LLM，USE基本上提供指令的语义表示。

之后，模型每次处理6张图像（6张图像用于更好的时间理解和展示运动），每张图像分辨率为300 × 300，所以每张图像使用ImageNet预训练的EfficientNet-B3视觉编码器处理，将每张图像转换为9 × 9的网格，每个网格映射到512维特征向量，因此总共81个token代表图像的不同区域。

FiLM条件化：图像的视觉表示可以根据指令而变化。模型根据指令嵌入生成两个参数gamma和beta，并在一个函数中使用它们来缩放和转换当前的视觉处理，从而使得与该特定语言指令相关的特征变得更加有用。

例如，“打开抽屉“是语言指令，经过FiLM条件化后，特征向量被改变，使得更重要的视觉特征获得更多权重——在这个例子中可能是抽屉把手、柜子。“拿起罐子“可能会强调罐子和夹爪，“打开抽屉“可能会强调抽屉和把手。

经过EfficientNet后，每张图像有81个空间token，总共6张图像，所以6 × 81 = 486个token，这对自注意力来说代价很高且困难，所以他们使用TokenLearner将每张图像从81个token压缩为8个token的摘要。它产生81个空间位置的八个学习加权摘要。一个token可以组合来自多个区域的信息。每个TokenLearner输出是整张图像上信息的加权组合。zk = Σ alpha_ki × Fi。因此RT-1运行得更快。

六帧中每帧的八个token被排列成48个token的序列，由仅解码器Transformer处理。即 (z1,z2…z8) - 仅解码器Transformer - 动作预测。Transformer有8个自注意力层，模型总参数量为3500万，其中1900万属于Transformer。

Transformer连接了处理过程中不同部分的信息，例如罐子当前在哪里、夹爪在前几帧中的位置、夹爪是否正在接近罐子、指令是否要求抓取/移动。

最终模型输出离散动作token，动作总共包含11个分量：3个机械臂平移、3个机械臂旋转、1个夹爪移动、3个底盘平移和旋转以及1个模式选择。这里使用了离散化，分箱数为256箱，因此成为分类问题。它以3Hz频率运行，即RT-1大约每秒重新规划3次——观察 - 预测一个动作 - 执行 - 再次观察。

RT-1对动作使用离散化。

训练方面，他们使用行为克隆，训练模型在给定图像和指令的情况下复制专家的人类遥操作动作。13万条成功的机器人轨迹。超过700个任务（抓取物体、将物体放在彼此附近、开关抽屉等）。

RT-1在已见任务上达到约97%的成功率，在未见指令上76%，在视觉干扰下83%，在新背景下59%。从已见任务的97%下降到新背景的59%，表明扩大数据集提高了鲁棒性，但环境泛化问题仍未解决。

RT-1表明单一Transformer策略可以替代许多单独训练的特定任务策略。其主要贡献不是新的推理机制，而是展示了行为克隆可以跨越大量多样的真实机器人任务进行规模化，同时保持足够快的闭环控制。SayCan执行高层任务分解，而RT-1执行单个低层技能。

我发现有趣的是，移除任务多样性（减少不同任务的数量）比单纯减少同一演示任务的数量更严重地损害了泛化。这意味着看到许多不同的行为可能比大量重复少数几种行为更有价值。

我还发现TokenLearner很有趣，因为它创建了一个信息瓶颈。RT-1在Transformer之前将486个空间token压缩为仅48个token。这使策略更快，但也假设每张图像的八个学习摘要保留了操纵所需的一切。小物体和精确几何在压缩过程中可能会丢失。

实验1：理解离散化

我们看到RT-1输出离散动作token。因此连续命令必须映射到有限值集中的一个值。为了理解这种取整造成了多少信息损失，我运行了一个离线重建实验，从三个LIBERO演示中取出843条记录的动作，将每个动作分量四舍五入到均匀网格上的最近值，并测试了每个维度16、32、64、128和256个值。

GIF

正如预期的那样，增加分箱数减少了重建误差，但还有一个问题是这些值的范围应该是什么。

想象在尺子上标记等间距的位置。在刻度数量固定的情况下，较短的尺子会将它们标记得更密集。这提高了其范围内的精度，但超出边界的任何值都会被拒绝。

因此我比较了两个版本：一个覆盖了观测到的命令的完整范围，另一个将范围缩短到第1到第99百分位，基本上裁剪了边界之外的命令。

我们可以看到，对于16个分箱，裁剪略有帮助，因为更精细的间距补偿了极端值处的信息损失；而对于256个分箱，完整范围版本的误差大约低5.5倍。对于256个分箱，虽然取整变得非常精确，但拒绝裁剪值的代价比精度的帮助更大，而且更好的单步精度并不保证按比例更好的长时程行为。

我还检查了当连续命令之间的误差累积时会发生什么。较小的单个误差并不总是产生较小的最终偏差，因为误差可能相互增强或相互抵消。

所以最终的结论是：动作分辨率取决于可用值的数量以及它们覆盖的范围。

RT-2：教VLM如何行动

RT-1从机器人演示中学习，但其语义知识主要限于演示中表示的概念，也就是说它并不知道每个概念的含义。而通过网络训练的VLM已经通过图像描述、视觉问答和语言数据集了解了这些。

所以现在的问题是：我们能否利用一个已经理解图像和语言的VLM来产生动作？

答案是肯定的！诀窍在于我们可以把动作当作另一种语言。例如，VLM：多个物体的图像 + “哪个物体是恐龙？” → “绿色玩具。” 因此我们利用VLM的这些信息，将机器人动作转换为文本token：图像 + “拿起恐龙” → “128, 91, 241, 5, 101, 127, 217”（离散化的机器人命令）。

这里，与RT-1的六图像历史不同，RT-2的主要形式仅使用当前图像。时间行为主要来自闭环执行：动作，观察新图像，再动作。

RT-2预测一个8分量的动作，离散化为256个分箱。它使用两个不同的VLM家族来分配动作token：PaLI-X的5B和55B版本（已经存在低于1000的单独token，所以动作154可以直接用作文本token），以及PaLM-E的12B版本（没有现成的动作token，所以作者使用了256个很少使用的词并将其重新定义为动作token，但由于这些是随机词，它们之间没有相关性）。

我觉得一个有趣的概念是自回归动作生成：RT-2生成8个动作到