面向具身智能的Mixture-of-Experts视频预训练扩展

Hugging Face Daily Papers 论文

摘要

LingBot-Video提出了一个基于DiT的视频预训练框架,采用Mixture-of-Experts架构、专用数据增强和多维奖励系统,用于具身智能应用。

尽管在机器人控制方面显示出前景,但视频生成模型由于主要关注内容创作而存在领域不匹配问题。例如,其设计本质上优先考虑视觉保真度和创造力,而非计算效率和物理真实性。在这项工作中,我们提出了LingBot-Video,一种专门为具身智能量身定制的基于DiT的视频预训练范式。从架构角度来看,我们采用混合专家(Mixture-of-Experts,MoE)框架(而非密集框架),以实现建模能力与推理效率之间的更好权衡,并成功从零开始进行扩展。从数据角度来看,我们构建了一个数据画像引擎,用大量机器人导向的素材(包括操作、导航和第一人称视角)增强标准互联网视频,使基础模型具备对动作和世界动态的内在理解。从训练角度来看,我们开发了一个多维奖励系统,强制执行物理合理性和任务完成方面的对齐,超越了美学、指令遵循和运动一致性等标准准则。全面的评估验证了其作为视频基础模型的性能和效率。我们将LingBot-Video作为首个大规模开源MoE视频基础模型贡献给社区,这是一项弥合数字创意与物理执行之间鸿沟的开创性努力。
查看原文
查看缓存全文

缓存时间: 2026/07/09 07:51

论文页面 - 面向具身智能的混合专家视频预训练扩展

来源:https://huggingface.co/papers/2607.07675 发布于7月8日

#2 当日论文 (https://huggingface.co/papers/date/2026-07-09) 作者:, , , , , , , , , , , , , , , , , , , ,

摘要

LingBot-Video 提出了一种基于DiT的视频预训练框架,采用混合专家架构、专用数据增强和多维奖励系统,专为具身智能应用设计。

尽管机器人控制近期展现出潜力,但视频生成模型因主要关注内容创作而存在领域不匹配问题。例如,其设计本质优先考虑视觉保真度和创造力,而非计算效率和物理真实性。在本工作中,我们提出LingBot-Video,一种专门针对具身智能的基于DiT的视频预训练范式。从架构角度看,我们采用混合专家(MoE)框架而非密集框架,以实现建模能力与推理效率之间的更好权衡,并成功从零开始进行规模化扩展。从数据角度看,我们构建了一个数据画像引擎,用大量面向机器人的素材(涵盖操作、导航和第一人称视角)增强标准互联网视频,使基础模型具备对动作和世界动态的内在理解。从训练角度看,我们开发了多维奖励系统,强制执行物理合理性和任务完成方面的对齐,超越了美学、提示遵循和运动一致性等标准标准。全面的评估验证了其作为视频基础模型的性能和效率。我们将LingBot-Video作为首个大规模开源MoE视频基础模型贡献给社区,这是一项弥合数字创造力与物理驱动之间的开创性努力。

查看arXiv页面 (https://arxiv.org/abs/2607.07675)查看PDF (https://arxiv.org/pdf/2607.07675)项目页面 (https://technology.robbyant.com/lingbot-video)GitHub77 (https://github.com/robbyant/lingbot-video)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.07675)

引用本文的模型 0

没有模型链接本文

请在模型README.md中引用arxiv.org/abs/2607.07675以从本页链接。

引用本文的数据集 1

cy0307/awesome-egocentric-atlas 查看器• 更新于约1小时前 • 816 • 1.21k • 5 (https://huggingface.co/datasets/cy0307/awesome-egocentric-atlas)

引用本文的Space 0

没有Space链接本文

请在Space README.md中引用arxiv.org/abs/2607.07675以从本页链接。

包含本文的收藏 0

没有包含本文的收藏

将本文添加到一个收藏 (https://huggingface.co/new-collection)中以从本页链接。

相似文章

robbyant/lingbot-video-moe-30b-a3b

Hugging Face Models Trending

LingBot-Video是首个面向具身智能的开源大规模MoE视频生成模型,采用高效MoE架构、海量具身数据训练,以及多奖励系统,实现高美学、物理合理性和任务完成度。