robbyant/lingbot-world-v2-14b-causal-fast
摘要
LingBot-World 2.0 是一个先进的世界模型,实现了无限制的交互范围、实时720p/60fps视频流、多样化的交互元素,以及一个集成了飞行员和导演智能体的智能体框架。该模型已在Hugging Face上发布,附带有推理代码和技术报告。
查看缓存全文
缓存时间: 2026/07/12 22:52
robbyant/lingbot-world-v2-14b-causal-fast · Hugging Face
来源:https://huggingface.co/robbyant/lingbot-world-v2-14b-causal-fast
无限世界与多样化交互
Robbyant 团队页面 (https://technology.robbyant.com/lingbot-world-v2)
技术报告 (https://arxiv.org/abs/xxx.xxx)
模型 (https://huggingface.co/collections/robbyant/lingbot-world-v2)
模型 (https://modelscope.cn/collections/Robbyant/LingBot-World-V2)
许可证 (https://huggingface.co/robbyant/lingbot-world-v2-14b-causal-fast/blob/main/LICENSE.txt)
我们推出 LingBot-World 2.0(也称为 LingBot-World-Infinity),这是 LingBot-World (https://technology.robbyant.com/lingbot-world) 的进阶版本,包含四项升级:
- 无限交互视界:通过精心设计的因果预训练范式,我们的模型实现了无限的交互视界,同时保持稳定的输出质量。
- 快速响应时间:通过从基础模型蒸馏出实时变体,我们的系统确保快速响应,足以驱动 720p 视频流以 60 fps 运行。
- 高度多样化的交互元素:与前代版本相比,本次更新引入了高度多样化的交互元素,包括更广泛的动作(如攻击、射箭、施法和射击)以及更丰富的文本驱动事件。
- 智能体驾驶舱:我们率先在世界建模领域集成了智能体驾驶舱,其中驾驶员智能体负责规划和执行角色行为,而导演智能体则负责在场景推进过程中合成新颖的环境元素。
🚀 立即体验
LingBot-World-Infinity 的实时版本已在两个平台上提供。感谢 Reactor (https://www.reactor.inc/lingbot-world-v2) 和 LingGuang (https://www.lingguang.com/support) 的支持:
- 国际版(网页):在 Reactor (https://www.reactor.inc/lingbot-world-v2) 上体验。
- 国内版(移动端):在 LingGuang (https://www.lingguang.com/support) 上体验。
注意: Reactor 和 LingGuang 提供了便捷的方式来实时体验 LingBot-World-Infinity,但缺少部分功能。在我们的官方设置中,模型以完整能力运行。要体验我们的官方演示,请参加 WAIC 2026 (https://waica2026.worldaic.com.cn/)。
🔥 新闻
- 2026年7月9日:🎉 我们发布了 LingBot-World-Infinity 的技术报告、推理代码和模型。
📋 待办事项
- 发布 14B 模型的因果快速推理代码和模型
- 发布 14B 模型的因果预训练模型
- 发布 14B 模型的双向模型
- 发布 1.3B 模型的因果快速和因果预训练模型
⚙️ 快速开始
本代码库基于 Wan2.2 (https://github.com/Wan-Video/Wan2.2) 构建。请参考其文档进行安装。
安装
克隆仓库:
git clone https://github.com/robbyant/lingbot-world-v2.git cd lingbot-world-v2
安装依赖:
# 确保 torch >= 2.4.0 pip install -r requirements.txt
安装 flash_attn (https://github.com/Dao-AILab/flash-attention):
pip install flash-attn --no-build-isolation
模型下载
| 模型 | 模型类型 | 模型大小 | 下载链接 |
|---|---|---|---|
| lingbot-world-v2-14b-causal-fast | causal-fast | 14B | 🤗 HuggingFace (https://huggingface.co/robbyant/lingbot-world-v2-14b-causal-fast) 🤖 ModelScope (https://www.modelscope.cn/models/Robbyant/lingbot-world-v2-14b-causal-fast) |
| lingbot-world-v2-14b-causal-pretrain | causal-pretrain | 14B | 待办 |
使用 huggingface-cli 下载模型:
pip install "huggingface_hub[cli]" huggingface-cli download robbyant/lingbot-world-v2-14b-causal-fast --local-dir ./lingbot-world-v2-14b-causal-fast
使用 modelscope-cli 下载模型:
pip install modelscope modelscope download robbyant/lingbot-world-v2-14b-causal-fast --local_dir ./lingbot-world-v2-14b-causal-fast
推理
我们提供了 generate.py 用于带 KV 缓存的因果推理,该方法会逐块处理视频帧,而非一次性处理全部。
causal_fast— 480P,多 GPU:
torchrun --nproc_per_node=8 generate.py --task i2v-A14B --size 480*832 --ckpt_dir lingbot-world-v2-14b-causal-fast --image examples/03/image.jpg --action_path examples/03 --dit_fsdp --t5_fsdp --ulysses_size 8 --frame_num 361 --local_attn_size 18 --sink_size 6 --prompt "宁静的湖畔景色,一株孤树立在平静的水面上,周围是远处积雪覆盖的山脉,明亮的蓝天上飘着白云——轻柔的涟漪倒映着树和天空,营造出平和、冥想的氛围。"
你也可以使用提供的 run_fast.sh 脚本:
bash run_fast.sh # 例如 bash run_fast.sh lingbot-world-v2-14b-causal-fast 361
部署
我们不打算发布部署代码。如果你想自己部署我们的模型,请参考 SGLang (https://docs.sglang.io/cookbook/diffusion/LingBot-World/LingBot-World-2.0) 或 flashdreams (https://github.com/NVIDIA/flashdreams) 中的 LingBot-World 部署。
📚 相关项目
- LingBot-World (https://github.com/robbyant/lingbot-world)
📜 许可证
本项目采用 Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License(CC BY-NC-SA 4.0)许可。该项目仅供非商业用途:你可以在注明出处的情况下共享和改编,但衍生作品必须使用相同的许可证。请参阅 LICENSE 文件 (https://huggingface.co/robbyant/lingbot-world-v2-14b-causal-fast/blob/main/LICENSE.txt) 获取全文,包括权利和限制的详细信息。
✨ 致谢
我们要感谢 Wan 团队开源他们的代码和模型。他们的贡献对本项目的开发至关重要。
📖 引用
如果你觉得这项工作对你的研究有帮助,请引用我们的论文:
@article{lingbot-world-v2, title={Infinite Worlds with Versatile Interactions}, author={Zelin Gao and Qiuyu Wang and Jiapeng Zhu and Jingye Chen and Zichen Liu and Qingyan Bai and Jiahao Wang and Yufeng Yuan and Hanlin Wang and Yichong Lu and Ka Leong Cheng and Haojie Zhang and Jian Gao and Tianrui Feng and Yuzheng Liu and Yao Yao and Yinghao Xu and Xing Zhu and Yujun Shen and Hao Ouyang}, journal={arXiv preprint arXiv:xxx.xxx}, year={2026} }
相似文章
无限世界与多样交互
本文介绍了LingBot-World 2.0,一个先进的世界建模系统,具有无界交互范围、实时720p 60fps视频生成、多样化的交互元素(例如攻击、施法),以及通过领航员和导演智能体实现的新型多智能体行为控制,还附带一个共享的多玩家界面。
robbyant/lingbot-map
LingBot-Map 是一个前馈式 3D 基础模型,用于流式 3D 重建,采用几何上下文转换器架构,在超过 10,000 帧的长序列上实现最先进的性能,并具有高效的 ~20 FPS 推理速度。
@aigclink: 蚂蚁集团旗下具身智能公司 Robbyant 开源了世界模型 LingBot-World 2.0——能连续跑一个多小时、画质未见明显可见衰减,还内置一套类大脑-小脑协同的 agentic harness,让世界随用户动作持续展开。 原有世界…
蚂蚁集团旗下Robbyant开源了世界模型LingBot-World 2.0,支持连续运行一小时以上且画质不衰减,具备类大脑-小脑协同的agentic harness,支持多人同玩和多种交互动作,权重和代码已开源。
@robbyant_brain: LingBot-VLA 2.0 现已开源——我们新一代的具身基础模型。6万小时高质量预训练数据…
LingBot-VLA 2.0,一个开源的具身基础模型,已发布,拥有6万小时预训练数据,支持17个品牌的20种机器人配置,在RTX 4090上推理时间低于130毫秒。
robbyant/lingbot-video-moe-30b-a3b
LingBot-Video是首个面向具身智能的开源大规模MoE视频生成模型,采用高效MoE架构、海量具身数据训练,以及多奖励系统,实现高美学、物理合理性和任务完成度。