Programmable World Model
摘要
可编程世界模型引入了一个框架,将世界状态演化与视觉生成解耦,通过可执行程序和3D边界框实现持久且可控的环境。
查看缓存全文
缓存时间: 2026/09/10 02:14
论文页面 - 可编程世界模型
来源:https://huggingface.co/papers/2609.10540
摘要
可编程世界模型通过可执行规则和三维边界框将显式状态演化与视频生成分离,以维护持久、可控的环境。
近期视频世界模型能生成日益逼真且可交互的视觉体验,却缺乏在长时间交互中维持持久世界状态和执行可编程规则的可靠机制。我们提出可编程世界模型(Programmable World Model)链接,该框架将世界状态演化与视觉观测生成解耦。智能体将自然语言指令转换为可执行程序链接,指定实体状态链接与状态转换规则链接,从而直接控制单个实体及其交互。轻量级引擎执行这些程序以更新和维护显式的、持久的全局世界状态链接(包括屏幕外实体和非视觉属性)。为连接世界状态与视觉生成,我们引入状态增强的三维有向边界框链接(OBBs)作为中间表示。该表示与目标相机轨迹一起,被确定性地编译为像素对齐的时空条件信号链接,输入至作为生成式渲染器链接的预训练视频模型链接。此设计允许用户创建具有预设机制、可直接控制单个实体并在游戏过程中保持持久世界状态的可玩游戏。我们进一步引入CombatStateBench 链接——一个用于评估可编程世界模型链接的基准测试。在CombatStateBench 链接上,我们的方法达到了94%的计数准确率和98%的状态准确率,在支持连贯长时序生成的同时,显著优于现有交互式视频世界模型。这些结果表明,将显式状态演化与生成式渲染分离是构建持久、可编程世界的有效方法。
查看arXiv页面 (https://arxiv.org/abs/2609.10540) 查看PDF (https://arxiv.org/pdf/2609.10540) 项目页面 (https://alaya-lab.github.io/pwm/) GitHub (https://github.com/AlayaLab/pwm) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.10540)
在您的智能体中获取此论文:
hf papers read 2609\.10540
还没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
无模型关联此论文
在模型README.md中引用 arxiv.org/abs/2609.10540 以从本页链接。
引用此论文的数据集0
无数据集关联此论文
在数据集README.md中引用 arxiv.org/abs/2609.10540 以从本页链接。
引用此论文的Spaces0
无Space关联此论文
在Space README.md中引用 arxiv.org/abs/2609.10540 以从本页链接。
包含此论文的合集0
无合集包含此论文
将此论文添加到合集以从本页链接。
相似文章
VisualPatchWorld:作为规划潜在结构化表示的代码世界模型
VisualPatchWorld 提出了一种将世界动力学学习为代码的方法,能够从数据中构建可检查和可编辑的模拟器。在导航和操作任务中,它实现了强大的规划成功率。
Code World Model:编程代理作为世界大脑
本文介绍了Code World Model,这是一个结合了用于推理和编码的语言模型与用于视觉渲染的视频模型,以开放式方式模拟持续世界演化的框架。
WorldMind:用于状态感知NPC行为的解耦游戏世界模型
WorldMind引入了一个用于游戏世界模型中状态感知NPC行为的解耦框架,将世界建模分离为理解、决策、控制和生成层,以增强响应性。
PatchWorld: 可执行世界模型的免梯度优化
PatchWorld 引入了一种免梯度框架,通过反例引导的代码修复,将离线轨迹转换为可执行的 Python 世界模型,从而为部分可观测环境中的规划提供可解释和可检查的信念状态程序。
代码即世界:物理推理中可执行世界表示的代理式发现
代码即世界引入了一种范式,通过将物理环境表示为可执行代码,为视觉语言模型提供定量推理能力。它使用代理式发现循环实现可扩展监督,并达到了最先进的性能。