video-pretraining

LingBot-Video提出了一个基于DiT的视频预训练框架，采用Mixture-of-Experts架构、专用数据增强和多维奖励系统，用于具身智能应用。

本文介绍了Orca，一个世界基础模型，它通过下一状态预测从多模态数据中学习统一的潜在空间，在文本生成、图像预测和具身动作生成等下游任务上优于专门的基线模型。

OpenAI 推出了视频预训练（VPT），这是一种半监督方法，通过学习 70,000 小时的未标注人类游戏视频和少量标注数据集来训练神经网络玩 Minecraft。该模型使用原生人类界面（键盘和鼠标）学习复杂的序列任务，展示了制作钻石工具和柱子跳跃等能力，代表了朝向通用计算机使用代理的进步。