面向具身智能的Mixture-of-Experts视频预训练扩展
摘要
LingBot-Video提出了一个基于DiT的视频预训练框架,采用Mixture-of-Experts架构、专用数据增强和多维奖励系统,用于具身智能应用。
查看缓存全文
缓存时间: 2026/07/09 07:51
论文页面 - 面向具身智能的混合专家视频预训练扩展
来源:https://huggingface.co/papers/2607.07675 发布于7月8日
#2 当日论文 (https://huggingface.co/papers/date/2026-07-09) 作者:, , , , , , , , , , , , , , , , , , , ,
摘要
LingBot-Video 提出了一种基于DiT的视频预训练框架,采用混合专家架构、专用数据增强和多维奖励系统,专为具身智能应用设计。
尽管机器人控制近期展现出潜力,但视频生成模型因主要关注内容创作而存在领域不匹配问题。例如,其设计本质优先考虑视觉保真度和创造力,而非计算效率和物理真实性。在本工作中,我们提出LingBot-Video,一种专门针对具身智能的基于DiT的视频预训练范式。从架构角度看,我们采用混合专家(MoE)框架而非密集框架,以实现建模能力与推理效率之间的更好权衡,并成功从零开始进行规模化扩展。从数据角度看,我们构建了一个数据画像引擎,用大量面向机器人的素材(涵盖操作、导航和第一人称视角)增强标准互联网视频,使基础模型具备对动作和世界动态的内在理解。从训练角度看,我们开发了多维奖励系统,强制执行物理合理性和任务完成方面的对齐,超越了美学、提示遵循和运动一致性等标准标准。全面的评估验证了其作为视频基础模型的性能和效率。我们将LingBot-Video作为首个大规模开源MoE视频基础模型贡献给社区,这是一项弥合数字创造力与物理驱动之间的开创性努力。
查看arXiv页面 (https://arxiv.org/abs/2607.07675)查看PDF (https://arxiv.org/pdf/2607.07675)项目页面 (https://technology.robbyant.com/lingbot-video)GitHub77 (https://github.com/robbyant/lingbot-video)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.07675)
引用本文的模型 0
没有模型链接本文
请在模型README.md中引用arxiv.org/abs/2607.07675以从本页链接。
引用本文的数据集 1
cy0307/awesome-egocentric-atlas 查看器• 更新于约1小时前 • 816 • 1.21k • 5 (https://huggingface.co/datasets/cy0307/awesome-egocentric-atlas)
引用本文的Space 0
没有Space链接本文
请在Space README.md中引用arxiv.org/abs/2607.07675以从本页链接。
包含本文的收藏 0
没有包含本文的收藏
将本文添加到一个收藏 (https://huggingface.co/new-collection)中以从本页链接。
相似文章
@heyshrutimishra: 新视频模型刚刚发布。但这款并非为电影级视频打造。LingBot-Video专为具身智能设计…
LingBot-Video是一个30B参数的视频模型,采用稀疏MoE架构,专为具身智能设计,现已开源。它在RBench上优于现有模型,训练数据来自7万+小时的具身数据。
LingBot-Video: 稀疏MoE视频扩散Transformer(总参数13B,激活参数1.4B)后训练为动作条件世界模型[R]
LingBot-Video是一个13B的稀疏MoE视频扩散Transformer(1.4B激活参数),通过强化学习后训练为动作条件世界模型,权重和代码已开源。它包含一个由VLM评分的物理合理性奖励,并将其自身定位为策略评估器和动作规划器,但缺少闭环机器人实验结果。
HumanScale: 自我中心人类视频在具身预训练中可超越真实机器人数据
本文发现,经过过滤和标注流水线处理的自我中心人类视频,在预训练具身基础模型时可以超越遥操作真实机器人数据,在真实机器人任务上实现了更低的验证损失和更高的成功率。
EMO:用于涌现模块化的专家混合模型预训练
EMO 是一种专家混合模型(Mixture-of-Experts),通过将相似领域的词元与共享专家分组实现模块化部署,在保持与标准 MoE 相当的性能的同时,支持显著的专家剪枝(保留 25% 的专家即可保留 99% 的性能)且不会导致性能下降。
LoomVideo:统一多模态输入的视频生成与编辑
LoomVideo提出了一种5B参数的统一架构用于视频生成和编辑,通过新颖的条件机制和多模态对齐减少计算开销,实现了具有竞争力的性能和更快的推理速度。