GPT MOMENT of Robotics.

# Gen1-5：迈向机器人基础模型的关键一步，实现即时学习与物理泛化 **TL;DR:** 新的机器人基础模型Gen1-5展示了前所未有的即时学习、少样本学习和物理泛化能力，能够通过简短演示或上下文提示快速掌握新任务，甚至能即兴创造使用工具。 ## 机器人基础模型的愿景与Gen1-5的诞生 当前机器人领域的一个核心愿景是创建一个机器人基础模型。这种模型的目标是让我们只需走向机器人，就能几乎立即让它执行任何任务，并且能将这种行为进行泛化，适应各种新情况。 为实现这一愿景，研究者们推出了新模型Gen1-5。它被定位为一个具备**即时学习能力**的通才。Gen1-5的核心突破在于，它是一个**单样本学习者**，能在数秒内通过上下文提示学习并泛化新任务。它能够组合提示信息来学习更长周期的任务，甚至可以从模拟器中获取提示，并将这些模拟行为迁移到现实世界中。 ## 核心能力：即时学习与少样本适应 Gen1-5最引人注目的能力是其极端的高效学习模式。 ### 上下文提示与即时模仿 模型支持**上下文提示**的变体。最快速的学习方式是**在新任务上零训练**，仅需几秒的演示数据输入到模型的上下文中。我们向机器人展示该做什么，它就能将其泛化，这被称为“物理提示”。 更进一步，在某些情况下，它甚至可以直接观察人类，并当场立即模仿。我们只需用自己的手向机器人展示该怎么做，机器人就能当场用它的手进行模仿。这标志着一种**高度泛化的上下文学习能力**的首次观察，尽管目前还处于非常早期的阶段。 ### 少样本学习 对于需要少量训练的任务，Gen1-5仅需**1到5分钟的数据**，经过**1到10个梯度步长**的训练，就能学习新任务。这相比传统深度学习方法需要大量数据和长时间训练，是一个巨大的飞跃。 ## 展现物理泛化与即兴智能 Gen1-5不仅学习速度快，更展现了新层次的**物理泛化能力**，尤其是在应对新工具和新物体时表现出的“即兴智能”。 ### 工具使用的即兴创造 在实验中，当教会机器人用刷子将积木扫进碗里后： - 给它一根香蕉时，它能想出如何将香蕉**变成临时刷子**来完成任务。 - 给它一个簸箕时，它会用另一只手将积木推到簸箕上，然后举起簸箕将积木倒入碗中。 - 它还能清扫多个物体，并学会如何灵活切换双手来完成复杂操作。 ### 解决未明确训练过的问题 这种即兴智能体现在多种场景中： - 当一只手粘着乐高积木时，它会用另一只手将其取下。 - 曾被教导将积木放入碗中，但当碗被纸盖住时，它会**移开纸张**来完成任务。 - 曾被教导用单手打开罐盖，它却能直接用双手完成。 - 给它不同的瓶子和杯子时，它也能想出如何打开它们。 这些能力并非明确训练所得，而是从新的训练方法中**涌现出来**的。虽然目前这些任务相对简单，成功率也并非特别高，但研究者们表示“从未见过能完成这些的模型”，其表现出的即兴智能水平超出了预期。 ## 从模拟到现实，从演示到模仿 Gen1-5的能力不仅限于简单的物体操作，还包括更复杂的迁移学习。 - **模拟到现实的迁移**：模型可以从模拟器中获取提示，并将学到的行为迁移到真实世界中。 - **人到机器人的上下文学习**：如前所述，通过观察人类的手部演示，机器人能够快速模仿执行新任务。这为人机交互和技能传授开辟了新的可能性。 尽管这些能力目前还处于初期阶段，但它们共同指向了机器人基础模型的巨大潜力——一个能够快速适应、泛化并具备一定自主解决问题能力的智能系统。 ## 总结与展望 Gen1-5模型通过上下文提示、少样本学习和强大的物理泛化能力，展示了机器人基础模型的初步可行路径。它在工具即兴使用、障碍物规避等方面涌现出的未明确训练过的能力，令人对这一智能新领域的潜力感到无比兴奋。 虽然当前任务复杂度有限，但Gen1-5代表了向“像人类一样快速学习新技能”的机器人迈出的关键一步，为未来更通用、更灵活的机器人系统奠定了基础。 来源: [GPT MOMENT of Robotics](https://youtu.be/1cllCVK-9lo)