Wizard:通过智能体控制实时操纵任意世界

Hugging Face Daily Papers 论文

摘要

Wizard 提出一种游戏世界模型,通过解耦角色动画、场景操控与游戏逻辑,实现对未见过角色的关节级动作与实时交互控制,支持每秒 24 帧的交互,并对新场景、角色和动作具备零样本泛化能力。

视频世界模型的最新进展使生成愈发逼真且可交互的虚拟环境成为可能,为玩家自定义游戏玩法开辟了新的可能性。智能体框架通过将显式游戏逻辑和可控的世界表征与视觉生成解耦,进一步推动了这一方向的发展。然而,现有方法仅支持简单的游戏场景设定和预定义的运动模式,对未见过的环境和角色泛化能力较弱,且实时交互能力有限。在本文中,我们提出了 Wizard,这是一种基于智能体的游戏世界模型,能够实时、精确地控制角色动作,同时以零样本方式泛化到全新的场景、角色和动作。为实现这一目标,我们构建了一个涵盖 750 个场景和 178 个角色的多样化数据集,并将骨架和几何信息纳入其中,作为结构化表征。我们利用这些表征作为中间代理,为视频生成模型提供条件,并结合自适应掩码机制,改善条件信号与生成的视频序列之间的对齐。此外,我们引入了一个显式维护和更新游戏状态的智能体框架,使玩家能够自由配置虚拟世界,并对角色动作进行细粒度控制,同时保持视觉质量和游戏玩法的一致性。通过将智能体控制与基于结构化代理的生成相结合,我们的框架以实时、可泛化且符合游戏机制的世界模拟,为玩家驱动的游戏创作开辟了新的可能性。
查看原文
查看缓存全文

缓存时间: 2026/11/02 03:26

论文页面 - Wizard:通过智能体控制实时操纵任意世界

来源:https://huggingface.co/papers/2610.40339 🪄 Wizard:通过智能体控制实时操纵任意世界!

现有的游戏世界模型能够生成逼真的视觉画面,但仍受限于熟悉的环境和预定义的动作\。控制主要集中于移动,对关节式动作的支持有限\。世界模型能否跟随一个从未见过的角色,呈现其挥剑、展翅或在战斗中变身的过程?

Wizard 将角色动画、场景操纵和游戏逻辑与视觉生成解耦\。智能体通过结构化视觉代理控制关节骨架和场景几何,而显式世界状态则支持自适应的首领行为和符合游戏机制的战斗\。

我们构建了 50.3 小时的对齐代理–视频数据对,涵盖 750 个场景和 178 个角色\。角色感知自适应掩码保留参考外观,而因果适配和少步蒸馏则实现了 24 FPS 的交互,并能零样本泛化至未见过的场景、角色和动作\。

从世界探索、角色召唤到变身和场景操纵,Wizard 赋予玩家更大的自由,让他们能够创建并控制自己的游戏世界\。

代码即将发布!

相似文章

无限世界与多样交互

Hugging Face Daily Papers

本文介绍了LingBot-World 2.0,一个先进的世界建模系统,具有无界交互范围、实时720p 60fps视频生成、多样化的交互元素(例如攻击、施法),以及通过领航员和导演智能体实现的新型多智能体行为控制,还附带一个共享的多玩家界面。

Zing-0.5: 面向实时联合动作与文本控制的可玩世界

Hugging Face Daily Papers

本文介绍了Zing-0.5,一个50亿参数的自回归世界模型,用于生成可通过键盘和文本控制实时交互的可玩世界。它在导航任务中表现出高性能,并展示了以24 FPS进行低成本实时推理的能力。

基于 DAO 和 JING 的生成式世界模拟

Hugging Face Daily Papers

提出生成式世界模拟框架,将持久共享世界状态引擎 DAO 与第一人称交互体验模型 JING 耦合,通过连续交互循环生成可随用户动作演化并保留历史的沉浸式视听体验。