@rohanpaul_ai:大语言模型已经有了互联网。机器人必须建立自己的互联网。这正是Humyn Labs正在解决的数据问题。@hu…
摘要
Humyn Labs正在通过将人类经验转化为使用多种传感器(如IMU、深度相机和手部追踪)的同步训练数据来解决机器人数据问题,使其对机器人训练有用。
查看缓存全文
缓存时间: 2026/08/21 05:03
大语言模型拥有整个互联网。而机器人必须自建专属数据网络。
这正是 Humyn Labs 正在攻克的数据难题。
@humynlabs 正将人类经验转化为同步训练数据,解决机器人无法从网络直接抓取的学习瓶颈。
有用的机器人数据集绝不能仅有数小时的第一人称视频。
Humyn 的数据样本将人类活动与多种信号同步记录:包括IMU(惯性测量单元)、立体深度信息、6自由度头部姿态、21点手部关键点、腕部追踪、物体追踪及密集动作标签。
部分采集甚至将头部摄像头与双腕部摄像头及独立IMU数据流进行同步。
因此 Humyn 试图为人类示范保留足够的数据结构以确保实用性:包括以自我为中心的视频、惯性测量数据、手部与头部姿态、物体轨迹、深度信息、语音叙述及同步多视角影像。
Humyn Labs (@humynlabs): 我们是Humyn Labs。在我们的助力下,每台机器人都能得心应手。
我们将人类经验转化为机器人技能,构建于数千小时就绪数据模型之上。
不同于通过整个互联网学习的大语言模型,机器人数据没有这样的捷径可走。
机器人需要真实世界的经验来
相似文章
@rohanpaul_ai: 语言有一个机器人不具备的奇怪优势:文本已经是人类思想的压缩共享界面,而…
讨论了具身AI和机器人技术面临的挑战,包括10万年的数据差距以及缺乏共享基准,并强调了数据循环、评估系统和部署方面的创业机会。
@rohanpaul_ai:让基于大语言模型构建应用变得轻松的“调用模型”模式,正延伸到实体机器人领域。> 直到现在,让机器人模…
PokeBot 推出 RoboAPI,由其 Poke-Aurora 世界动作模型驱动,让 5 款受支持机械臂的拥有者能够通过简单的 API,以 30Hz 的频率发送自然语言指令——无需针对特定任务收集数据或进行训练。
机器人使用代理
本文探讨了将LLM用作机器人控制代理的新兴趋势,类似于计算机使用代理,并研究了通过云人工智能在机器人生态系统中快速扩散智能的潜力。
机器人团队正在从头重建数据栈
机器人团队正在从头重建数据栈,以克服“数据层税”对机器人学习迭代和扩展的拖累,因为现有基础设施无法处理多速率和多模态数据。
@rohanpaul_ai: 中国深圳的Humanoin。实时稳定性管理是开发可靠腿式机器人室外面临的最困难问题之一…
中国深圳的Humanoin。实时稳定性管理是开发可靠腿式机器人室外面临的最困难问题之一。