robbyant/lingbot-video-moe-30b-a3b · Hugging Face 来源: https://huggingface.co/robbyant/lingbot-video-moe-30b-a3b 🌐项目页面 (https://technology.robbyant.com/lingbot-video)|🤗Hugging Face (https://huggingface.co/collections/robbyant/lingbot-video)|🤖ModelScope (https://www.modelscope.cn/collections/Robbyant/LingBot-Video)|📄论文 (https://github.com/Robbyant/lingbot-video/blob/main/paper.pdf)|⚖️许可证 (https://huggingface.co/robbyant/lingbot-video-moe-30b-a3b/blob/main/LICENSE.txt) 我们很高兴推出 LingBot-Video，这是首个面向具身智能的开源大规模 MoE（混合专家）视频生成模型。作为顶级的视频模型，LingBot-Video 旨在弥合视频合成与物理世界理解之间的鸿沟。

🔥 关键亮点

• 🚀 高效 MoE 架构：从头扩展，在容量和成本之间取得平衡，推理速度提升 ~3 倍。
• 📦 数据引擎：在大量网络视频上训练，并融合了 70,000 小时以上的具身数据。
• ⚖️ 多重奖励系统：针对 高美学质量、物理合理性 和 任务完成度 给予奖励。

🔥 最新消息

• 2026 年 7 月 9 日：🎉 我们发布了 LingBot-Video 的技术报告、代码、模型和重写器。

📦 模型下载

🚀 快速开始

🛠️ 安装

根目录下的 requirements.txt 包含了 LingBot-Video 推理推荐使用的 PyTorch 构建版本。

git clone https://github.com/Robbyant/lingbot-video
cd lingbot-video
python -m venv .venv
source .venv/bin/activate
python -m pip install -U pip
# Base requirements cover direct DiT inference and rewriter --backend transformers.
pip install -r requirements.txt
pip install -e .

💡 重写器部署：捆绑的重写器使用单进程 transformers 后端。如需更高吞吐量，请自行部署 VLM，并通过兼容 OpenAI 的 API 调用它。请保留两阶段语义：第 1 步必须使用不带重写器 LoRA 的基础 VLM，第 2 步必须使用带有重写器 LoRA 的同一基础 VLM。可以通过两个端点实现，或者使用一个支持按请求选择适配器的服务器。请参阅 vLLM / SGLang 官方文档。

仅在需要使用 SGLang Diffusion 或融合 / FP8 MoE 运行时，才安装可选的 SGLang 依赖项：

python -m pip install --no-deps -r requirements-sglang.txt

推荐运行环境版本：

🎬 推理

🧭 推荐推理工作流

LingBot-Video DiT 推理设计为使用结构化 JSON 描述，而非随意的自然语言提示。推荐的公开工作流如下：

1. 使用提示重写器重写用户的原始提示。对于 TI2V，将同一首帧传递给重写器。
2. 默认运行 Auto Negative 为这个特定描述修剪负面提示。
3. 使用 --prompt_json 运行统一的推理运行器，并通过 --backend 选择直接 diffusers 或 SGLang Diffusion。

后端选项：

• diffusers：直接 diffusers 参考路径。
• sglang：SGLang Diffusion 路径。如果未安装可选的 SGLang 包，则会自动回退到直接 diffusers 并打印警告。安装 requirements-sglang.txt 来启用 SGLang 运行时。

对于多 GPU 推理，添加 --enable_fsdp_inference 来在 GPU 上分片基础 DiT 和精炼器 DiT。这可以在加载后降低 GPU 内存压力，但每个 rank 在 FSDP 分片之前仍在主机内存上构建 Transformer；请确保机器有足够的系统 RAM 来处理大型 MoE 检查点。

# 模型根目录（发布的 Dense 或 MoE 包）和重写器权重。
export MODEL_DIR=""
export REWRITER_BASE_MODEL=""
export REWRITER_ADAPTER=""

python rewriter/inference.py --backend transformers --mode t2v \
    --prompt "" --duration 5 --output prompt.json

# 推荐的 Auto Negative 步骤。如果跳过，请从
# DiT 推理命令中移除 --negative_prompt_json。
python rewriter/auto_negative.py --backend transformers --mode t2v \
    --caption prompt.json --output negative.json

export BACKEND=diffusers  # 或：sglang

python scripts/inference.py \
    --backend "$BACKEND" \
    --model_dir "$MODEL_DIR" \
    --run_refiner \
    --mode t2v \
    --prompt_json prompt.json \
    --negative_prompt_json negative.json \
    --output "/base.mp4" \
    --refiner_output "/refined.mp4" \
    --height 480 \
    --width 832 \
    --fps 24 \
    --steps 40 \
    --refiner_steps 8 \
    --guidance_scale 3 \
    --refiner_guidance_scale 3 \
    --shift 3 \
    --refiner_shift 3 \
    --transformer_dtype bf16 \
    --text_encoder_dtype bf16 \
    --vae_dtype fp32 \
    --refiner_vae_dtype fp32 \
    --reuse_condition_features

提供了即用脚本用于单 GPU 和多 GPU 推理。首先设置你的环境和模型路径：

source .venv/bin/activate
export PYTHON_BIN=python
export DENSE_MODEL_DIR=""
export MOE_MODEL_DIR=""

单 GPU 脚本默认使用直接 diffusers 和批处理 CFG。它们只进行基础生成。

MODEL_DIR="$DENSE_MODEL_DIR" ./scripts/single-gpu/run_dense_t2i.sh
MODEL_DIR="$DENSE_MODEL_DIR" ./scripts/single-gpu/run_dense_t2v.sh
MODEL_DIR="$DENSE_MODEL_DIR" ./scripts/single-gpu/run_dense_ti2v.sh
MODEL_DIR="$MOE_MODEL_DIR" ./scripts/single-gpu/run_moe_t2i.sh
MODEL_DIR="$MOE_MODEL_DIR" ./scripts/single-gpu/run_moe_t2v.sh
MODEL_DIR="$MOE_MODEL_DIR" ./scripts/single-gpu/run_moe_ti2v.sh

多 GPU 无精炼器脚本使用与单 GPU 脚本相同的推理参数，外加 CP8 和 FSDP：

MODEL_DIR="$DENSE_MODEL_DIR" ./scripts/multi-gpus-no-refiner/run_dense_t2i_fsdp_cp8.sh
MODEL_DIR="$DENSE_MODEL_DIR" ./scripts/multi-gpus-no-refiner/run_dense_t2v_fsdp_cp8.sh
MODEL_DIR="$DENSE_MODEL_DIR" ./scripts/multi-gpus-no-refiner/run_dense_ti2v_fsdp_cp8.sh
MODEL_DIR="$MOE_MODEL_DIR" ./scripts/multi-gpus-no-refiner/run_moe_t2i_fsdp_cp8.sh
MODEL_DIR="$MOE_MODEL_DIR" ./scripts/multi-gpus-no-refiner/run_moe_t2v_fsdp_cp8.sh
MODEL_DIR="$MOE_MODEL_DIR" ./scripts/multi-gpus-no-refiner/run_moe_ti2v_fsdp_cp8.sh

多 GPU 精炼器脚本默认使用 CP8 + FSDP + 批处理 CFG。它们也默认使用直接 diffusers；当你想使用 SGLang Diffusion 时，在外部设置 BACKEND=sglang。MoE 多 GPU T2V/TI2V 脚本额外运行精炼器。

MODEL_DIR="$DENSE_MODEL_DIR" ./scripts/multi-gpus/run_dense_t2i_fsdp_cp8.sh
MODEL_DIR="$DENSE_MODEL_DIR" ./scripts/multi-gpus/run_dense_t2v_fsdp_cp8.sh
MODEL_DIR="$DENSE_MODEL_DIR" ./scripts/multi-gpus/run_dense_ti2v_fsdp_cp8.sh
MODEL_DIR="$MOE_MODEL_DIR" ./scripts/multi-gpus/run_moe_t2i_fsdp_cp8.sh
MODEL_DIR="$MOE_MODEL_DIR" ./scripts/multi-gpus/run_moe_t2v_refiner_fsdp_cp8.sh
MODEL_DIR="$MOE_MODEL_DIR" ./scripts/multi-gpus/run_moe_ti2v_refiner_fsdp_cp8.sh

所有脚本接受相同的环境变量覆盖，例如 PROMPT_JSON、IMAGE、OUT_DIR、HEIGHT、WIDTH、STEPS、GUIDANCE_SCALE、SHIFT、SEED、FPS、BACKEND 和 PYTHON_BIN。精炼器脚本还接受 REFINER_HEIGHT、REFINER_WIDTH、REFINER_STEPS、REFINER_GUIDANCE_SCALE、REFINER_SHIFT、REFINER_T_THRESH 和 REFINER_SIGMA_TAIL_STEPS。MoE 脚本默认使用分组专家执行 (LINGBOT_MOE_EXPERT_BACKEND=grouped_mm)。

有关详细的提示重写、自动负面提示、TI2V、仅基础/精炼器、分布式 SGLang 和速度优先 FP8 工作流，请参阅 英文文档 或 中文文档。

📊 基准测试

🏛️ 公开基准测试

截至 2026 年 7 月 9 日，LingBot-Video 在 RBench 排行榜 上排名第一。

注意：粗体表示最佳性能，下划线表示次优。

⚖️ 许可证

本项目采用 Apache 2.0 许可证。请参阅 LICENSE 文件 获取完整文本，包括权利和限制的详细信息。

📚 引用

如果您觉得这项工作对您的研究有帮助，请引用我们的论文：

@article{lingbot-video,
  title = {Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence},
  author = {Shuailei Ma and Jiaqi Liao and Xinyang Wang and Jingjing Wang and Chaoran Feng and Zijing Hu and Chong Bao and Zichen Xi and Yuqi Gan and Weisen Wang and Yanhong Zeng and Qin Zhao and Zifan Shi and Wei Wu and Hao Ouyang and Qiuyu Wang and Shangzhan Zhang and Jiahao Shao and Yipengjing Sun and Liangxiao Hu and Lunke Pan and Nan Xue and Kecheng Zheng and Yinghao Xu and Xing Zhu and Yujun Shen and Ka Leong Cheng},
  journal={arXiv preprint arXiv:2607.xxxxx},
  year = {2026}
}