标签
该论文提出了 WATO,一种在训练期间通过可微分、受动力学约束的轨迹优化,联合优化世界-动作联合模型所生成的动作及未来状态的方法,并将优化过程摊销到生成器中,以实现快速部署。该方法在 77 个视觉控制环境中将平均成功率从 79.9% 提升至 91.7%,同时在部署时的速度是 CEM 的 11.5 倍。
HubEgo-100K 提出一个面向机器人学习的大规模真实世界第一人称技能工作数据集:来自 12,227 名贡献者、覆盖 15,548 个环境的 10,124 小时 1080p 视频及同步 IMU 数据,以 LeRobot 和 MCAP 格式发布为 72,754 个带标注的 episode,用于研究多样性驱动的策略泛化能力。
据报道,扬·勒昆在 CoRL 上敦促研究人员不要从事大语言模型研究,引导机器人学习领域的研究群体探索实现机器智能的其他路径。
OneSteer 是一种单步扩散全身控制器,将通用人形运动跟踪与通过可微任务代价和参考掩码实现的选择性测试时操控相结合,在 1.25 米横杆下的净通过率从 2% 提升至 90%,并在实体 Unitree G1 上完成 27/27 次标准跟踪试验且无摔倒。
Alloy 是一个开源的多材质机器人学习物理引擎,在单一场景中统一了刚体、布料、线缆、液体、颗粒介质和软体,可在 GPU 或 CPU 上并行运行,基于 Newton、MuJoCoWarp 和 Warp 构建。它专为通过 MCP 由编码智能体驱动而设计,并已用于在单块 GPU 上训练行走、线缆操作和倾倒策略。
强化学习(RL)可以通过一种名为数据接种(Data Inoculation)的技术,辅助机器人在示范过程中的数据采集,提高用于行为克隆和强化学习的数据质量,一篇关于堆叠方块的新论文展示了这一点。
一篇新的博客文章追溯了 Vision-Language-Action(VLA)模型从 RT-1 到 MolmoAct2 的演进历程,解释了为什么 VLA 是实现可泛化机器人学习的重要方向,并介绍了关键的架构权衡。
WorldBridge 提出了一种世界动作模型,包含独立的视频专家和动作专家,二者通过结构化注意力机制连接,并采用联合流匹配进行训练。该模型结合广泛的视频覆盖与稀疏的动作监督,在机器人操作基准测试中实现了最先进的任务泛化性能。
YC Paper Club 将扩展至马萨诸塞州剑桥市,首场活动将于11月18日举行,聚焦机器人学习与控制领域的前沿进展,面向学术界和产业界研究者。
该论文提出了质量可控策略(QCP),通过一个迭代式事后重标注循环,利用在线采集的轨迹进行微调,从而在推理时控制机器人执行的速度、平滑度等质量属性,并提高了在 Robomimic、RoboEval 和真实世界操作任务中的成功率与执行质量。
HuGe 提出了一族人形通用视觉-语言-动作(VLA)模型,利用超过2000小时的第一人称人类与机器人数据进行预训练,并通过伪本体感知与视觉适配实现全身控制,在 HumanoidArena 仿真基准上达到 SOTA,同时在 Unitree G1 实体机器人上验证了其有效性。
Eka Robotics 筹集 1.5 亿美元 A 轮融资,估值达 14.5 亿美元,其基于视觉-力-动作(vision-force-action)架构的物理 AI 模型让机器人灵巧抓取表现超越人类水平,引起机器人学界广泛关注。
Maniformer 的新论文提出 MEgoVista,一套基于头戴式装置的物理 AI 数据系统,通过立体视觉和全序列优化,将手部手指误差降至 4.29 毫米、头部跟踪误差控制在 0.65–2.83 毫米,并经 26 相机动作捕捉实验室验证,为机器人学习提供可测量的人类动作数据。
Reflex提出一个三阶段框架,让类人机器人通过自我中心RGB-D视觉实现对抛掷物体的全身心反射式接取控制,在仿真中达到85.7%成功率,并在真实Unitree G1机器人上以2.5米距离实现65%的接取成功率。
InterMimicGen 提出一个自我进化的运动模仿框架,通过数据飞轮将稀疏的人-物交互动作捕捉数据转化为持续扩展的、可执行的人形机器人全身 loco-manipulation 动作资源,并实现向真实机器人的迁移。
HumanoidToolBench 提出一个18项任务的基准,评估人形机器人从工具选择到移动执行的能力,并发布包含3.1k条演示的 ToolBook 数据集(仿真与真实 Unitree G1 采集),揭示了工具选择与任务成功执行之间的显著差距。
RLE-Bench 引入了一种资格考试式的基准测试,用于评估编码智能体在机器人领域更广泛的工程能力——涵盖交互控制、策略学习、感知与估计以及机械设计——并将各项任务专属指标汇总为一个总体 RLE Index,从而实现系统性比较。
PRISM 是一个 real-to-sim-to-real(真实-仿真-真实)框架,通过视频到视频(V2V)生成将少量真实的人-物交互视频放大为数百个多样的反事实视频,随后重建物理上合理的动作,从而训练出可泛化的人形机器人行走-操作策略,并直接部署在真实机器人上,无需真实世界微调。
Real2Gym是一个基于代理的Real2Sim2Real框架,它将人类和机器人的视频演示转化为交互式模拟训练场,使技能能够转移到物理机器人上,并且成功率优于基线。
EVO-WAM 是一个框架,通过从生成的视频-动作轨迹中学习,将世界动作模型适应于未见过的机器人任务,显著提高了成功率,而无需额外的专家示范。