Programmable World Model

Hugging Face Daily Papers 论文

摘要

可编程世界模型引入了一个框架,将世界状态演化与视觉生成解耦,通过可执行程序和3D边界框实现持久且可控的环境。

近年来的视频世界模型生成日益逼真和交互式的视觉体验,但缺乏在长时间交互中维护持久世界状态和执行可编程规则的可靠机制。我们引入了可编程世界模型(Programmable World Model),一个将世界状态演化与视觉观察生成解耦的框架。代理将自然语言指令转换为可执行程序,这些程序指定实体状态和状态转换规则,从而实现对单个实体及其交互的直接控制。一个轻量级引擎执行这些程序,以更新和维护一个显式、持久的全局世界状态,包括屏幕外的实体和非视觉属性。为了将世界状态与视觉生成连接起来,我们引入了状态增强的3D定向边界框(OBBs)作为中间表示。这种表示连同目标相机轨迹,被确定性地编译为像素对齐的时空条件信号,用于一个作为生成渲染器的预训练视频模型。这种设计允许用户创建具有预定义机制、对单个实体直接控制以及整个游戏过程中持久世界状态的可玩游戏。我们进一步引入了CombatStateBench,一个评估可编程世界模型的基准。在CombatStateBench上,我们的方法实现了94%的计数准确性和98%的状态准确性,显著优于现有的交互式视频世界模型,同时支持连贯的长时域生成。这些结果表明,将显式状态演化与生成渲染分离对于构建持久、可编程的世界是有效的。
查看原文
查看缓存全文

缓存时间: 2026/09/10 02:14

论文页面 - 可编程世界模型

来源:https://huggingface.co/papers/2609.10540

摘要

可编程世界模型通过可执行规则和三维边界框将显式状态演化与视频生成分离,以维护持久、可控的环境。

近期视频世界模型能生成日益逼真且可交互的视觉体验,却缺乏在长时间交互中维持持久世界状态和执行可编程规则的可靠机制。我们提出可编程世界模型(Programmable World Model)链接,该框架将世界状态演化与视觉观测生成解耦。智能体将自然语言指令转换为可执行程序链接,指定实体状态链接状态转换规则链接,从而直接控制单个实体及其交互。轻量级引擎执行这些程序以更新和维护显式的、持久的全局世界状态链接(包括屏幕外实体和非视觉属性)。为连接世界状态与视觉生成,我们引入状态增强的三维有向边界框链接(OBBs)作为中间表示。该表示与目标相机轨迹一起,被确定性地编译为像素对齐的时空条件信号链接,输入至作为生成式渲染器链接预训练视频模型链接。此设计允许用户创建具有预设机制、可直接控制单个实体并在游戏过程中保持持久世界状态的可玩游戏。我们进一步引入CombatStateBench 链接——一个用于评估可编程世界模型链接的基准测试。在CombatStateBench 链接上,我们的方法达到了94%的计数准确率和98%的状态准确率,在支持连贯长时序生成的同时,显著优于现有交互式视频世界模型。这些结果表明,将显式状态演化与生成式渲染分离是构建持久、可编程世界的有效方法。

查看arXiv页面 (https://arxiv.org/abs/2609.10540) 查看PDF (https://arxiv.org/pdf/2609.10540) 项目页面 (https://alaya-lab.github.io/pwm/) GitHub (https://github.com/AlayaLab/pwm) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.10540)

在您的智能体中获取此论文:

hf papers read 2609\.10540

还没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型关联此论文

在模型README.md中引用 arxiv.org/abs/2609.10540 以从本页链接。

引用此论文的数据集0

无数据集关联此论文

在数据集README.md中引用 arxiv.org/abs/2609.10540 以从本页链接。

引用此论文的Spaces0

无Space关联此论文

在Space README.md中引用 arxiv.org/abs/2609.10540 以从本页链接。

包含此论文的合集0

无合集包含此论文

将此论文添加到合集以从本页链接。

相似文章

Code World Model:编程代理作为世界大脑

Hugging Face Daily Papers

本文介绍了Code World Model,这是一个结合了用于推理和编码的语言模型与用于视觉渲染的视频模型,以开放式方式模拟持续世界演化的框架。

PatchWorld: 可执行世界模型的免梯度优化

arXiv cs.CL

PatchWorld 引入了一种免梯度框架,通过反例引导的代码修复,将离线轨迹转换为可执行的 Python 世界模型,从而为部分可观测环境中的规划提供可解释和可检查的信念状态程序。