@oprydai: lerobot so-101 之所以有趣,是因为它让机器人学习感觉像是一个真正的软件流水线,而不是随机的实验室魔法……

X AI KOLs Following 工具

摘要

Lerobot SO-101 是一个框架,它将机器人学习从混乱的实验室魔法转变为干净、可复现的软件流水线,实现了结构化的数据收集、策略训练和部署,类似于 PyTorch 对深度学习所做的那样。

lerobot so-101 之所以有趣,是因为它让机器人学习感觉像是一个真正的软件流水线,而不是随机的实验室魔法。 旧的机器人工作流程混乱不堪:编写自定义控制代码、连接传感器、以某种随机格式记录数据、用另一个脚本训练模型、用另一套堆栈部署,然后花几天时间调试为什么各个部分之间无法通信。 lerobot 将其简化为一个更清晰的循环:收集数据 → 存储回合 → 训练策略 → 评估 → 部署到机器人上。 重要之处在于数据集格式。 每个回合都变成一个结构化的序列:相机帧、机器人状态、动作、时间戳、如果需要的话还有奖励,有时还包括语言指令。这意味着机器人的行为不再只是隐藏在代码中。它变成了数据。 然后策略学习映射关系: 观察 + 状态 + 指令 → 动作 对于 so-101 来说,这一点很重要,因为操作不仅仅是“将电机转到某个角度”。模型必须学习接触、时机、物体几何、相机反馈、微小修正以及动作如何在多个步骤中演变。 这就是为什么像 ACT 这样的策略很有意义。它不是一次预测一个动作,而是预测动作块。机器人获得了短期行为视野,这使得操作更加平滑,不再那么抽搐。 然后你可以转向扩散策略、VLA 模型、smolvla、自定义架构等任何东西。但核心循环保持不变。 收集示范。 将物理行为转换为数据集。 训练策略。 将其部署回物理系统。 观察它失败。 收集更好的数据。 再次训练。 这是目前大多数人在机器人方面忽略的部分。 瓶颈不仅仅是更好的模型。 而是更好的机器人数据流水线。 lerobot 基本上是想给机器人学提供 PyTorch 给深度学习带来的东西:一个通用接口、可复现的训练循环、共享数据集、基线,以及从实验到部署的路径。 so-101 不仅仅是一个小型机械臂。 它是一个用于学习完整机器人学习栈的廉价物理接口。 遥操作、模仿学习、数据集整理、动作预测、评估、仿真到现实的思考,以及实际部署。 这就是机器人学的发展方向。 更少的手工编码行为。 更多的数据驱动策略。 更少的孤立演示。 更多的可复现流水线。 不是把机器人当玩具。 机器人作为数据集、策略、控制循环和具身系统。
查看原文
查看缓存全文

缓存时间: 2026/06/27 15:59

lerobot so-101 有趣的地方在于,它让机器人学习感觉像是一条真正的软件流水线,而不是实验室里的随机魔法。

过去机器人工作流一团糟:要写自定义控制代码、连接传感器、用随机格式记录数据、用另一个脚本训练模型、再用另一套栈部署,然后花几天调试为什么各个部分互相不通信。

lerobot 把这个过程压缩成一个更干净的循环:收集数据 → 存储回合 → 训练策略 → 评估 → 部署到机器人上。

关键的是数据集格式。

每个回合都成为一个结构化的序列:摄像头帧、机器人状态、动作、时间戳、如果需要奖励的话还有奖励,有时还有一个语言指令。这意味着机器人的行为不再仅仅是藏在代码里——它变成了数据。

然后策略学习映射关系:

观测 + 状态 + 指令 → 动作

对于 so-101 来说,这一点很重要,因为操控不仅仅是“把电机转到某个角度”。模型必须学习接触、时机、物体几何形状、摄像头反馈、细微修正,以及动作在多个步骤中如何演变。

这就是为什么像 ACT 这样的策略很有趣。它不是一次预测一个动作,而是预测动作块。机器人获得一个短期的行为视野,这让操控更平滑,不那么抖动。

然后你可以向扩散策略、VLA 模型、smolvla、自定义架构等方向发展。但核心循环保持不变:

收集示范。 将物理行为转化为数据集。 训练策略。 将其部署回物理系统。 观察失败。 收集更好的数据。 再次训练。

这是目前大多数人对机器人领域的误解之处。

瓶颈不仅仅是更好的模型。

而是更好的机器人数据流水线。

lerobot 基本上是在试图给机器人领域带来和 PyTorch 给深度学习带来的一样东西:一个通用接口、可复现的训练循环、共享数据集、基线,以及从实验到部署的路径。

so-101 不仅仅是一个小型机械臂。

它是一个用于学习完整机器人学习栈的廉价物理界面。

遥操作、模仿学习、数据集管理、动作预测、评估、仿真到现实的思考,以及真实世界部署。

这就是机器人领域的发展方向。

更少的手写行为。 更多的数据驱动策略。 更少的孤立演示。 更多的可复现流水线。 不是玩具般的机器人。

而是数据集、策略、控制回路和具身系统的机器人。

相似文章

@oprydai:如果你正在学习:• 机器人学 • 执行器、电机、齿轮、传动 • 传感器、IMU、编码器、相机、LiDAR • 运动学(正运动学、逆运动学) • 动力学与控制(PID、MPC) • ROS2、rviz2、gazebo • 运动规划(RRT*、A*、轨迹优化) • SLAM(激光雷达、视觉、融合) • 无人机 • 自主驾驶堆栈(感知→规划→控制) • 嵌入式系统与微控制器 • 电源系统与电池 • CAD与机械设计 • 供应链与制造 • 产品设计与开发 • 全栈工程(面向硬件的软件) • 系统思维

X AI KOLs Following

一个账号(@oprydai)自称是为学习各种机器人技术的人提供的资源,涵盖执行器、传感器、运动学、控制、ROS2、SLAM、无人机等领域。