标签
Ego2Robot是一个可扩展的流水线，通过动作重定向和视觉合成，将第一人称人类操作视频转换为机器人训练数据，生成涵盖15种机器人形态的18,561小时数据。实验表明，在该合成数据与真实机器人数据上联合预训练，可提升视觉-语言-动作模型在分布外场景下的泛化能力，并已在真实机器人部署中得到验证。
EgoSteer提出一个全栈系统，从第一人称人类视频预训练视觉-语言-动作模型，实现可引导的灵巧操作，在40多个多样化任务上展现鲁棒泛化能力，复杂长时任务成功率超过75%。