Programmable World Model
摘要
可编程世界模型引入了一个框架,将世界状态演化与视觉生成解耦,通过可执行程序和3D边界框实现持久且可控的环境。
查看缓存全文
缓存时间: 2026/09/10 02:14
论文页面 - 可编程世界模型
来源:https://huggingface.co/papers/2609.10540
摘要
可编程世界模型通过可执行规则和三维边界框将显式状态演化与视频生成分离,以维护持久、可控的环境。
近期视频世界模型能生成日益逼真且可交互的视觉体验,却缺乏在长时间交互中维持持久世界状态和执行可编程规则的可靠机制。我们提出可编程世界模型(Programmable World Model)链接,该框架将世界状态演化与视觉观测生成解耦。智能体将自然语言指令转换为可执行程序链接,指定实体状态链接与状态转换规则链接,从而直接控制单个实体及其交互。轻量级引擎执行这些程序以更新和维护显式的、持久的全局世界状态链接(包括屏幕外实体和非视觉属性)。为连接世界状态与视觉生成,我们引入状态增强的三维有向边界框链接(OBBs)作为中间表示。该表示与目标相机轨迹一起,被确定性地编译为像素对齐的时空条件信号链接,输入至作为生成式渲染器链接的预训练视频模型链接。此设计允许用户创建具有预设机制、可直接控制单个实体并在游戏过程中保持持久世界状态的可玩游戏。我们进一步引入CombatStateBench 链接——一个用于评估可编程世界模型链接的基准测试。在CombatStateBench 链接上,我们的方法达到了94%的计数准确率和98%的状态准确率,在支持连贯长时序生成的同时,显著优于现有交互式视频世界模型。这些结果表明,将显式状态演化与生成式渲染分离是构建持久、可编程世界的有效方法。
查看arXiv页面 (https://arxiv.org/abs/2609.10540) 查看PDF (https://arxiv.org/pdf/2609.10540) 项目页面 (https://alaya-lab.github.io/pwm/) GitHub (https://github.com/AlayaLab/pwm) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.10540)
在您的智能体中获取此论文:
hf papers read 2609\.10540
还没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
无模型关联此论文
在模型README.md中引用 arxiv.org/abs/2609.10540 以从本页链接。
引用此论文的数据集0
无数据集关联此论文
在数据集README.md中引用 arxiv.org/abs/2609.10540 以从本页链接。
引用此论文的Spaces0
无Space关联此论文
在Space README.md中引用 arxiv.org/abs/2609.10540 以从本页链接。
包含此论文的合集0
无合集包含此论文
将此论文添加到合集以从本页链接。
相似文章
VisualPatchWorld:作为规划潜在结构化表示的代码世界模型
VisualPatchWorld 提出了一种将世界动力学学习为代码的方法,能够从数据中构建可检查和可编辑的模拟器。在导航和操作任务中,它实现了强大的规划成功率。
Code World Model:编程代理作为世界大脑
本文介绍了Code World Model,这是一个结合了用于推理和编码的语言模型与用于视觉渲染的视频模型,以开放式方式模拟持续世界演化的框架。
WorldMind:用于状态感知NPC行为的解耦游戏世界模型
WorldMind引入了一个用于游戏世界模型中状态感知NPC行为的解耦框架,将世界建模分离为理解、决策、控制和生成层,以增强响应性。
State World Models:执行规则,生成像素
论文提出了 Stateful Harness 框架,将基于规则的世界状态更新与冻结的视频渲染分离开来,以提升含隐藏状态的交互式世界模型的一致性,并通过 WorldState-Bench 基准进行评测。结果显示,完整 harness 将规则遵循率从 32% 提升至 92%。
WorldStream:通过分层规划与持久化状态流式生成交互式三维世界
WorldStream是一个开放式的3D世界模型,通过分层规划与流式编译实现地形无限扩展、处理开放语言指令并持久保存用户编辑。宏/微规划器在有类型的决策模型上生成结构化决策状态,并通过全局记录维护可复现的世界状态与状态化NPC。