N_0-TWAM：面向接触丰富操作的触觉原生世界-动作模型规模化

我们提出了 N_0-TWAM，一种面向接触丰富操作的触觉原生世界-动作模型，它能够同时预测未来的视觉和未来的接触。据我们所知，这是首个大规模训练的触觉世界-动作模型，并在接触丰富任务上展现出强大的能力。我们利用视触觉联合训练，在跨越 6 个具身和 450 个任务的触觉丰富演示上大规模预训练 N_0-TWAM。我们使用 NeoForce——一种统一的基于力的触觉表示——来形成具有物理依据的接触信号，以对动作生成进行条件化。为了改进长时程和多阶段操作，我们引入了触觉接触事件来对任务进行阶段划分，并在执行过程中依次推进这些事件。为了实时效率，我们采用了一种非对称的 Mixture-of-Transformers 架构，将全宽专家用于视频预测，并将精简专家用于下游动作和触觉预测。在真实和仿真基准上的评估验证了 N_0-TWAM 在一系列接触丰富任务上的能力，并展示了数据规模化对精确触觉和动作预测的益处。总之，N_0-TWAM 赋予了世界-动作模型预测未来视觉、触觉和动作的能力，为开放接触丰富任务中的精细操作奠定了坚实基础。代码库和模型检查点将公开发布，以促进触觉机器人操作的进一步研究与发展。