标签
Dyna-2 is a world-action model pre-trained on over a million hours of human video, showing scaling laws on human data and a human-to-robot transfer scaling law for zero-shot robot performance.
Pantograph推出了Pan，一个拥有40亿参数的目标条件模型，该模型在互联网视频上进行训练，能够在Minecraft中执行各种任务，例如与怪物战斗、建造结构和探索。该方法利用事后重新标记在预训练期间学习目标导向行为。
LingBot-Video提出了一个基于DiT的视频预训练框架，采用Mixture-of-Experts架构、专用数据增强和多维奖励系统，用于具身智能应用。
本文介绍了Orca，一个世界基础模型，它通过下一状态预测从多模态数据中学习统一的潜在空间，在文本生成、图像预测和具身动作生成等下游任务上优于专门的基线模型。
OpenAI 推出了视频预训练（VPT），这是一种半监督方法，通过学习 70,000 小时的未标注人类游戏视频和少量标注数据集来训练神经网络玩 Minecraft。该模型使用原生人类界面（键盘和鼠标）学习复杂的序列任务，展示了制作钻石工具和柱子跳跃等能力，代表了朝向通用计算机使用代理的进步。