Praxis-1（5分钟阅读）

# Runway Research | 发布 Praxis-1 来源：https://runway.com/research/introducing-praxis-1 "捡起网球，把它放进盒子里。" 今天，我们正式发布 Praxis-1——我们首个开放权重的**世界动作模型（world action model）**。它基于我们通用世界模型所依赖的大规模视频预训练构建。目前我们正与早期合作伙伴在多种机器人形态（embodiment）上积极测试 Praxis-1，并将在未来几个月内公开发布。 每一个有大规模部署雄心的机器人项目，都会遇到同一个问题：真实世界的数据稀缺且采集成本高昂，而通用策略（generalist policy）所需的量级根本无法满足。对于边缘案例频繁的部署场景，比如自动驾驶或家用机器人，根本没有切实可行的路径去收集训练所需的数据，更不用说达到有意义的规模。 然而，视频几乎是无限的，而且随着生成模型在质量和速度上逐步与真实视频持平，它正变得真正无限。人们每天拍摄并上传的日常生活内容，比任何机器人实验室通过遥操作演示所能捕捉的都要多。最近，我们发现（https://runway.com/research/accelerating-robot-policy-evaluation），在我们的世界模型内部模拟机器人策略，能够以 0.95 的相关性预测真实世界的结果，相比更昂贵的基于 3D 重建的技术表现更具优势。Praxis-1 延续了我们的信念：最好的策略模型将从视频中学习，并利用这种规模优势，将具身智能（embodied intelligence）带到地球上的每一个行业。 ## 视频预训练作为策略的基础 我们近期已将大规模视频模型的预训练工作，拓展到 Solaris（https://runway.com/news/research/introducing-solaris）和 GWM Worlds 2（https://runway.com/research/introducing-gwm-worlds-2）等交互式实时视频模型。通过教会模型如何生成准确的物理规律——物体如何运动、手部如何移动、任务进行到一半时是什么样子——我们在数字和物理世界中为智能体训练创造了动态且复杂的环境。Praxis-1 将同样的方法引入机器人领域，为机器人开发者和研究者提供一个通用的策略模型，无论任何形态、任何环境，无论多么复杂，都能胜任。 一个已经从视频预训练中理解了物理合理性和物体行为的策略，相比仅从动作数据构建的策略，具有巨大的先发优势。这与语言模型基于可用文本进行学习的前提类似：让这些模型从大规模数据中学习世界结构，使其如今能够在与训练集不同的场景中有效运作。 **图 1 — 复杂环境中的多步骤任务** 机械臂靠近书架，导航到目标物体，拿起书并将其归位。1 倍速 01 靠近书架 02 评估接近状态 03 拾取物体 04 将其移出环境 我们发现同样的规律在机器人领域同样成立：随着我们扩大第三人称视频的规模，策略性能随之提升。一个能力更强的策略，其瓶颈变成了模型能够用于训练的通用视频量。 **图 2 — 网络视频与遥操作机器人视频效果相当** 微调后的最终放置误差，对照预训练视频时长绘制。误差越低越好。 误差棒与色带：基于 93 个评估样本对的 ±1 标准误（SEM）。小于误差棒的差异不具统计显著性。 **图 3 — 策略通常在何处失效** 四种仅用演示数据训练的策略会失败的场景。1 倍速 刚性、重复 大量近似相同的物体，仅一个目标 杂乱环境 遮挡、餐具堆叠 透明物体 冰和透明塑料，深度线索微弱 可形变 布料没有固定抓取点 ## 与早期合作伙伴的测试 在公开发布之前，我们正将 Praxis-1 推向核心合作伙伴进行测试，包括 Noble Machines（https://www.noblemachines.ai/）、Standard Bots（https://standardbots.com/）和 Ultra（https://www.ultra.tech/），各自在自有硬件上运行该模型。我们将在发布前为更多合作伙伴提供早期访问。此次测试旨在确保有效性和安全性——我们将在多种形态和环境中进行评估，在推向正式可用之前识别并弥补潜在的不足。 - Noble Machines Noble Machines（https://www.noblemachines.ai/） 双臂操作。2 倍速 noblemachines.ai - Standard Bots Standard Bots（https://standardbots.com/） 6 自由度机械臂 · RO1。2 倍速 standardbots.com - Ultra Ultra（https://www.ultra.tech/） 移动底盘 ultra.tech **图 4 — 摄影棚、居家** 同一策略无需重新训练即可在不同环境中切换。1 倍速 摄影棚 受控光照，固定装置 厨房 家庭台面，混合光照 ## 为何选择开放权重 当 Praxis-1 公开发布时，我们将以开放权重的方式交付，而非封闭模型。我们相信，美国在物理 AI（physical AI）领域的领导地位至关重要。恢复我们在制造业上的全球领先地位、加速整个经济的生产力、保障我们自身及盟友的安全，都将依赖于这一点。实现这一目标需要在硬件和软件上大幅增加投入，同时也需要美国模型在物理应用场景中达到目前尚不存在的互操作性和开放程度。我们将开放世界模型视为一种复合优势，为硬件开发者提供了他们目前所不具备的灵活性与掌控力。