LingBot-Video: 稀疏MoE视频扩散Transformer（总参数13B，激活参数1.4B）后训练为动作条件世界模型[R]

Reddit r/MachineLearning 论文
sparse-moe video-diffusion transformer world-model open-source robotics reinforcement-learning

摘要

LingBot-Video是一个13B的稀疏MoE视频扩散Transformer（1.4B激活参数），通过强化学习后训练为动作条件世界模型，权重和代码已开源。它包含一个由VLM评分的物理合理性奖励，并将其自身定位为策略评估器和动作规划器，但缺少闭环机器人实验结果。

单流扩散Transformer，采用DeepSeek-V3风格的稀疏MoE（128个专家，top-8路由，总参数13B，激活参数1.4B）。六奖励强化学习后训练，包括一个物理合理性奖励，以及一个动作到视频模式，该模式根据动作和手部姿态条件预测机器人rollout。权重、代码以及Diffusers/SGLang栈以LingBot-Video名义开源。有两件事值得深入探讨，也诚邀本版读者一起思考：物理合理性奖励由VLM从采样帧中评分。VLM能否作为物理合理性的可靠评判者？还是说这是Goodhart定律等待发生？（他们确实添加了真实视频负样本以防止奖励破解。）该系统被定位为策略评估器和动作规划器，但所有结果都是视频帧质量指标，没有闭环机器人数据。视频生成器与世界模型之间的界限在哪里？在RBench上，它取得了平均最高分，但推理密集的维度仍然由闭源模型占据，而且在他们自己的评估中，通用文生视频（T2V）仅排第二。请尽情剖析。论文、代码和权重：https://technology.robbyant.com/lingbot-video , https://github.com/robbyant/lingbot-video , https://huggingface.co/robbyant/lingbot-video
查看原文

相似文章

Qwen-RobotWorld技术报告：通过语言条件视频生成统一具身世界建模

Hugging Face Daily Papers

Qwen-RobotWorld是一个语言条件视频世界模型，利用双流扩散变换器和860万视频-文本语料库，预测多个机器人领域的未来视觉轨迹。它统一了机器人操作、自动驾驶、室内导航和人机迁移的具身世界建模，在EWMBench和DreamGen Bench上取得了顶尖基准成绩。

robbyant/lingbot-map

Hugging Face Models Trending

LingBot-Map 是一个前馈式 3D 基础模型，用于流式 3D 重建，采用几何上下文转换器架构，在超过 10,000 帧的长序列上实现最先进的性能，并具有高效的 ~20 FPS 推理速度。