@oprydai: lerobot so-101 之所以有趣,是因为它让机器人学习感觉像是一个真正的软件流水线,而不是随机的实验室魔法……
摘要
Lerobot SO-101 是一个框架,它将机器人学习从混乱的实验室魔法转变为干净、可复现的软件流水线,实现了结构化的数据收集、策略训练和部署,类似于 PyTorch 对深度学习所做的那样。
查看缓存全文
缓存时间: 2026/06/27 15:59
lerobot so-101 有趣的地方在于,它让机器人学习感觉像是一条真正的软件流水线,而不是实验室里的随机魔法。
过去机器人工作流一团糟:要写自定义控制代码、连接传感器、用随机格式记录数据、用另一个脚本训练模型、再用另一套栈部署,然后花几天调试为什么各个部分互相不通信。
lerobot 把这个过程压缩成一个更干净的循环:收集数据 → 存储回合 → 训练策略 → 评估 → 部署到机器人上。
关键的是数据集格式。
每个回合都成为一个结构化的序列:摄像头帧、机器人状态、动作、时间戳、如果需要奖励的话还有奖励,有时还有一个语言指令。这意味着机器人的行为不再仅仅是藏在代码里——它变成了数据。
然后策略学习映射关系:
观测 + 状态 + 指令 → 动作
对于 so-101 来说,这一点很重要,因为操控不仅仅是“把电机转到某个角度”。模型必须学习接触、时机、物体几何形状、摄像头反馈、细微修正,以及动作在多个步骤中如何演变。
这就是为什么像 ACT 这样的策略很有趣。它不是一次预测一个动作,而是预测动作块。机器人获得一个短期的行为视野,这让操控更平滑,不那么抖动。
然后你可以向扩散策略、VLA 模型、smolvla、自定义架构等方向发展。但核心循环保持不变:
收集示范。 将物理行为转化为数据集。 训练策略。 将其部署回物理系统。 观察失败。 收集更好的数据。 再次训练。
这是目前大多数人对机器人领域的误解之处。
瓶颈不仅仅是更好的模型。
而是更好的机器人数据流水线。
lerobot 基本上是在试图给机器人领域带来和 PyTorch 给深度学习带来的一样东西:一个通用接口、可复现的训练循环、共享数据集、基线,以及从实验到部署的路径。
so-101 不仅仅是一个小型机械臂。
它是一个用于学习完整机器人学习栈的廉价物理界面。
遥操作、模仿学习、数据集管理、动作预测、评估、仿真到现实的思考,以及真实世界部署。
这就是机器人领域的发展方向。
更少的手写行为。 更多的数据驱动策略。 更少的孤立演示。 更多的可复现流水线。 不是玩具般的机器人。
而是数据集、策略、控制回路和具身系统的机器人。
相似文章
@svlevine: 从次优数据中学习很重要,因为机器人自己会产生次优数据,而且机器人越多,产生的数据就越多……
Sergey Levine 强调了从次优机器人数据中学习的重要性,并推广了 OopsieData——一个收集并开源那些丰富但未被充分利用的机器人失败交互片段的社区项目。
@oprydai:如果你正在学习:• 机器人学 • 执行器、电机、齿轮、传动 • 传感器、IMU、编码器、相机、LiDAR • 运动学(正运动学、逆运动学) • 动力学与控制(PID、MPC) • ROS2、rviz2、gazebo • 运动规划(RRT*、A*、轨迹优化) • SLAM(激光雷达、视觉、融合) • 无人机 • 自主驾驶堆栈(感知→规划→控制) • 嵌入式系统与微控制器 • 电源系统与电池 • CAD与机械设计 • 供应链与制造 • 产品设计与开发 • 全栈工程(面向硬件的软件) • 系统思维
一个账号(@oprydai)自称是为学习各种机器人技术的人提供的资源,涵盖执行器、传感器、运动学、控制、ROS2、SLAM、无人机等领域。
@NVIDIARobotics: 机器人技术建立在合作之上。听听 @huggingface CSO 兼联合创始人 Thomas Wolf 解释开源如何为开发者提供更强的构建基础……
LeRobot v0.6.0 引入了新的世界模型、奖励模型、更快的数据加载以及改进的基准测试,用于机器人学习,从而闭环机器人学习过程。
@DSPyOSS: 一种更清晰的持续学习操作化方案,适用于那些被错误地归类为“RAG”或“RL”的问题…
提出了一种名为“Machine Studying”的新型持续学习框架,其中AI系统能够自主从语料库中发展专业知识,并引入了StudyBench用于评估。
@svlevine: 我们可以学习一个模型,为机器人强化学习提供塑造的“过程奖励”,它会随着策略的改进而自动演变…
这项工作提出了一个模型,该模型学习塑造的“过程奖励”用于机器人强化学习,该奖励会随着策略的改进而自动演变,从而在基准测试和实际环境中提升性能。