面向具身智能的Mixture-of-Experts视频预训练扩展

Hugging Face Daily Papers 论文

摘要

LingBot-Video提出了一个基于DiT的视频预训练框架,采用Mixture-of-Experts架构、专用数据增强和多维奖励系统,用于具身智能应用。

尽管在机器人控制方面显示出前景,但视频生成模型由于主要关注内容创作而存在领域不匹配问题。例如,其设计本质上优先考虑视觉保真度和创造力,而非计算效率和物理真实性。在这项工作中,我们提出了LingBot-Video,一种专门为具身智能量身定制的基于DiT的视频预训练范式。从架构角度来看,我们采用混合专家(Mixture-of-Experts,MoE)框架(而非密集框架),以实现建模能力与推理效率之间的更好权衡,并成功从零开始进行扩展。从数据角度来看,我们构建了一个数据画像引擎,用大量机器人导向的素材(包括操作、导航和第一人称视角)增强标准互联网视频,使基础模型具备对动作和世界动态的内在理解。从训练角度来看,我们开发了一个多维奖励系统,强制执行物理合理性和任务完成方面的对齐,超越了美学、指令遵循和运动一致性等标准准则。全面的评估验证了其作为视频基础模型的性能和效率。我们将LingBot-Video作为首个大规模开源MoE视频基础模型贡献给社区,这是一项弥合数字创意与物理执行之间鸿沟的开创性努力。
查看原文
查看缓存全文

缓存时间: 2026/07/09 07:51

论文页面 - 面向具身智能的混合专家视频预训练扩展

来源:https://huggingface.co/papers/2607.07675 发布于7月8日

#2 当日论文 (https://huggingface.co/papers/date/2026-07-09) 作者:, , , , , , , , , , , , , , , , , , , ,

摘要

LingBot-Video 提出了一种基于DiT的视频预训练框架,采用混合专家架构、专用数据增强和多维奖励系统,专为具身智能应用设计。

尽管机器人控制近期展现出潜力,但视频生成模型因主要关注内容创作而存在领域不匹配问题。例如,其设计本质优先考虑视觉保真度和创造力,而非计算效率和物理真实性。在本工作中,我们提出LingBot-Video,一种专门针对具身智能的基于DiT的视频预训练范式。从架构角度看,我们采用混合专家(MoE)框架而非密集框架,以实现建模能力与推理效率之间的更好权衡,并成功从零开始进行规模化扩展。从数据角度看,我们构建了一个数据画像引擎,用大量面向机器人的素材(涵盖操作、导航和第一人称视角)增强标准互联网视频,使基础模型具备对动作和世界动态的内在理解。从训练角度看,我们开发了多维奖励系统,强制执行物理合理性和任务完成方面的对齐,超越了美学、提示遵循和运动一致性等标准标准。全面的评估验证了其作为视频基础模型的性能和效率。我们将LingBot-Video作为首个大规模开源MoE视频基础模型贡献给社区,这是一项弥合数字创造力与物理驱动之间的开创性努力。

查看arXiv页面 (https://arxiv.org/abs/2607.07675)查看PDF (https://arxiv.org/pdf/2607.07675)项目页面 (https://technology.robbyant.com/lingbot-video)GitHub77 (https://github.com/robbyant/lingbot-video)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.07675)

引用本文的模型 0

没有模型链接本文

请在模型README.md中引用arxiv.org/abs/2607.07675以从本页链接。

引用本文的数据集 1

cy0307/awesome-egocentric-atlas 查看器• 更新于约1小时前 • 816 • 1.21k • 5 (https://huggingface.co/datasets/cy0307/awesome-egocentric-atlas)

引用本文的Space 0

没有Space链接本文

请在Space README.md中引用arxiv.org/abs/2607.07675以从本页链接。

包含本文的收藏 0

没有包含本文的收藏

将本文添加到一个收藏 (https://huggingface.co/new-collection)中以从本页链接。

相似文章

EMO:用于涌现模块化的专家混合模型预训练

Hugging Face Daily Papers

EMO 是一种专家混合模型(Mixture-of-Experts),通过将相似领域的词元与共享专家分组实现模块化部署,在保持与标准 MoE 相当的性能的同时,支持显著的专家剪枝(保留 25% 的专家即可保留 99% 的性能)且不会导致性能下降。

LoomVideo:统一多模态输入的视频生成与编辑

Hugging Face Daily Papers

LoomVideo提出了一种5B参数的统一架构用于视频生成和编辑,通过新颖的条件机制和多模态对齐减少计算开销,实现了具有竞争力的性能和更快的推理速度。