WorldMind:用于状态感知NPC行为的解耦游戏世界模型

Hugging Face Daily Papers 论文

摘要

WorldMind引入了一个用于游戏世界模型中状态感知NPC行为的解耦框架,将世界建模分离为理解、决策、控制和生成层,以增强响应性。

游戏世界模型最近展示了生成视觉连贯且动作可控的游戏视频的有前景的能力。然而,现有模型中的非玩家角色(NPC)行为要么与视频生成隐式纠缠,要么通过外部控制信号显式规定。因此,游戏世界模型必须共同理解状态、规划NPC的响应并渲染其视觉结果,限制了其产生响应性和状态感知NPC行为的能力。挑战在于缺乏一个用于基于状态决策的显式接口。为此,我们引入WorldMind,据我们所知,这是第一个用于游戏世界模型中状态感知NPC行为的解耦框架。WorldMind将交互式世界建模分为四个层:理解层,从生成帧构建紧凑状态;决策层,基于紧凑状态推理以规划NPC的下一步动作;控制层,将动作转换为时间对齐的条件;生成层,合成它们的视觉结果。通过将这些层重新连接在一个闭环交互循环中,WorldMind将NPC行为扎根于不断发展的游戏状态中。我们进一步引入了BOSS-140K,一个游戏视频与丰富内部游戏状态配对的数据集,以及一个自动大规模收集的代理。在BOSS-140K上的实验展示了可靠的紧凑状态重建和基于机制的规划,在约70%的成对比较中,WorldMind因其更战术适当和连贯的NPC行为而被偏好优于基线。项目页面:https://teawhite.cn/worldmind_projectpage/
查看原文
查看缓存全文

缓存时间: 2026/08/25 04:35

论文页面 - WorldMind:面向状态感知NPC行为的解耦游戏世界模型

来源:https://huggingface.co/papers/2608.21439

摘要

WorldMind将游戏世界建模解耦为状态理解、决策、控制和生成层,以实现显式的、状态感知的NPC行为。

游戏世界模型(https://huggingface.co/papers?q=Game%20world%20models)最近在生成视觉连贯且动作可控的游戏视频方面展现出了有前景的能力。然而,现有模型中的非玩家角色(NPC)行为要么与视频生成隐式地纠缠在一起,要么通过外部控制信号显式地规定。因此,一个游戏世界模型必须同时理解状态、规划NPC的反应并渲染其视觉结果,这限制了其产生响应式和状态感知的NPC行为(https://huggingface.co/papers?q=NPC%20behavior)的能力。挑战在于缺乏一个显式的、基于状态的决策(https://huggingface.co/papers?q=state-grounded%20decision-making)接口。为此,我们引入了WorldMind,据我们所知,这是第一个用于游戏世界模型(https://huggingface.co/papers?q=game%20world%20models)中状态感知NPC行为(https://huggingface.co/papers?q=NPC%20behavior)的解耦框架。WorldMind将交互式世界建模分离为四个层:一个从生成的帧中构建紧凑状态的理解层;一个基于紧凑状态进行推理以规划NPC下一个动作的决策层;一个将动作转化为时间对齐条件的控制层;以及一个合成其视觉结果的生成层。通过将各层重新连接为一个闭环交互循环(https://huggingface.co/papers?q=closed%20interaction%20loop),WorldMind将NPC行为(https://huggingface.co/papers?q=NPC%20behavior)锚定在不断演变的游戏状态中。我们进一步引入了BOSS-140K,一个配对了丰富内部游戏状态的游戏视频数据集,以及一个用于大规模自动化收集的代理程序。在BOSS-140K上的实验展示了可靠的紧凑状态重建(https://huggingface.co/papers?q=compact%20state%20reconstruction)和基于机制的规划(https://huggingface.co/papers?q=mechanics-grounded%20planning)。在约70%的成对比较中,WorldMind因其更具战术恰当性和连贯性的NPC行为(https://huggingface.co/papers?q=NPC%20behavior)而更受青睐。项目页面:https://teawhite.cn/worldmind_projectpage/

查看arXiv页面(https://arxiv.org/abs/2608.21439)查看PDF(https://arxiv.org/pdf/2608.21439)项目页面(https://teawhite.cn/worldmind_projectpage/)GitHub0(https://github.com/TeaWhiteBro/WorldMind)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2608.21439)

在您的代理中获取本文:

hf papers read 2608\.21439

没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

没有模型链接本文

在模型的README.md中引用arxiv.org/abs/2608.21439以从本页面链接它。

引用本文的数据集0

没有数据集链接本文

在数据集的README.md中引用arxiv.org/abs/2608.21439以从本页面链接它。

引用本文的Spaces0

没有Space链接本文

在Space的README.md中引用arxiv.org/abs/2608.21439以从本页面链接它。

包含本文的收藏0

没有收藏包含本文

将本文添加到收藏(https://huggingface.co/new-collection)以从本页面链接它。

相似文章

ReactiveGWM:在反应式游戏世界模型中引导NPC

Hugging Face Daily Papers

ReactiveGWM是一种反应式游戏世界模型,通过扩散模型和交叉注意力模块将玩家控制与NPC行为解耦,实现动态的玩家-NPC互动,并能在不同游戏间实现零样本策略迁移。

Programmable World Model

Hugging Face Daily Papers

可编程世界模型引入了一个框架,将世界状态演化与视觉生成解耦,通过可执行程序和3D边界框实现持久且可控的环境。

MASS:具有权威共享状态的多玩家世界模型

Hugging Face Daily Papers

本文介绍了MASS,一种多玩家世界模型方法,通过使用权威共享状态将世界动态与视图渲染解耦,从而实现可扩展且一致的多智能体模拟,支持多达1,024个并发玩家。