面向具身智能的Mixture-of-Experts视频预训练扩展
摘要
LingBot-Video提出了一个基于DiT的视频预训练框架,采用Mixture-of-Experts架构、专用数据增强和多维奖励系统,用于具身智能应用。
查看缓存全文
缓存时间: 2026/07/09 07:51
论文页面 - 面向具身智能的混合专家视频预训练扩展
来源:https://huggingface.co/papers/2607.07675 发布于7月8日
#2 当日论文 (https://huggingface.co/papers/date/2026-07-09) 作者:, , , , , , , , , , , , , , , , , , , ,
摘要
LingBot-Video 提出了一种基于DiT的视频预训练框架,采用混合专家架构、专用数据增强和多维奖励系统,专为具身智能应用设计。
尽管机器人控制近期展现出潜力,但视频生成模型因主要关注内容创作而存在领域不匹配问题。例如,其设计本质优先考虑视觉保真度和创造力,而非计算效率和物理真实性。在本工作中,我们提出LingBot-Video,一种专门针对具身智能的基于DiT的视频预训练范式。从架构角度看,我们采用混合专家(MoE)框架而非密集框架,以实现建模能力与推理效率之间的更好权衡,并成功从零开始进行规模化扩展。从数据角度看,我们构建了一个数据画像引擎,用大量面向机器人的素材(涵盖操作、导航和第一人称视角)增强标准互联网视频,使基础模型具备对动作和世界动态的内在理解。从训练角度看,我们开发了多维奖励系统,强制执行物理合理性和任务完成方面的对齐,超越了美学、提示遵循和运动一致性等标准标准。全面的评估验证了其作为视频基础模型的性能和效率。我们将LingBot-Video作为首个大规模开源MoE视频基础模型贡献给社区,这是一项弥合数字创造力与物理驱动之间的开创性努力。
查看arXiv页面 (https://arxiv.org/abs/2607.07675)查看PDF (https://arxiv.org/pdf/2607.07675)项目页面 (https://technology.robbyant.com/lingbot-video)GitHub77 (https://github.com/robbyant/lingbot-video)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.07675)
引用本文的模型 0
没有模型链接本文
请在模型README.md中引用arxiv.org/abs/2607.07675以从本页链接。
引用本文的数据集 1
cy0307/awesome-egocentric-atlas 查看器• 更新于约1小时前 • 816 • 1.21k • 5 (https://huggingface.co/datasets/cy0307/awesome-egocentric-atlas)
引用本文的Space 0
没有Space链接本文
请在Space README.md中引用arxiv.org/abs/2607.07675以从本页链接。
包含本文的收藏 0
没有包含本文的收藏
将本文添加到一个收藏 (https://huggingface.co/new-collection)中以从本页链接。
相似文章
robbyant/lingbot-video-moe-30b-a3b
LingBot-Video是首个面向具身智能的开源大规模MoE视频生成模型,采用高效MoE架构、海量具身数据训练,以及多奖励系统,实现高美学、物理合理性和任务完成度。
@heyshrutimishra: 新视频模型刚刚发布。但这款并非为电影级视频打造。LingBot-Video专为具身智能设计…
LingBot-Video是一个30B参数的视频模型,采用稀疏MoE架构,专为具身智能设计,现已开源。它在RBench上优于现有模型,训练数据来自7万+小时的具身数据。
LingBot-Video: 稀疏MoE视频扩散Transformer(总参数13B,激活参数1.4B)后训练为动作条件世界模型[R]
LingBot-Video是一个13B的稀疏MoE视频扩散Transformer(1.4B激活参数),通过强化学习后训练为动作条件世界模型,权重和代码已开源。它包含一个由VLM评分的物理合理性奖励,并将其自身定位为策略评估器和动作规划器,但缺少闭环机器人实验结果。
@_akhaliq: LingBot-Video 已在 Hugging Face 上发布——基于 MoE 的视频基础模型,专为具身智能打造,300亿参数,仅……
LingBot-Video,一个基于 MoE 的 300 亿参数视频基础模型,专为具身智能设计,已在 Hugging Face 上发布。推理时仅 30 亿参数激活,并额外使用 7 万小时具身数据增强。
MoE-ViE:高效图像与视频理解的混合专家视觉编码器
本文介绍了MoE-ViE,一种混合专家视觉编码器,能够高效扩展以支持图像和视频理解,并以更低的推理延迟超越更大的密集模型。