Code World Model:编程代理作为世界大脑

Hugging Face Daily Papers 论文

摘要

本文介绍了Code World Model,这是一个结合了用于推理和编码的语言模型与用于视觉渲染的视频模型,以开放式方式模拟持续世界演化的框架。

世界模型旨在模拟复杂环境在行动和事件下的演化,但现有的基于视频的世界模型主要从视觉观察中学习动态,这些观察揭示的是结果而非支配世界演化的底层知识、规则和机制。这使得难以维持持续后果并支持连贯的开放式演化。我们引入Code World Model,这是一个通过结合语言模型的推理和编码能力与视频模型的生成先验,将世界演化与视觉实现分离的框架。编程代理作为世界大脑,推理事件及其后果,并生成可执行代码以维持持续世界状态并执行规则一致的演化。为了连接可执行状态与视觉生成,我们引入一种代理表示,它编码逐帧时空约束并被编译成代理视频,该视频作为条件输入视频模型以渲染高保真视觉观察。我们进一步开发了数据管道,从游戏玩法和真实世界视频中构建对齐的代理-观察对。在配对的游戏数据上进行微调后,MiniMax-H3 遵循由编程代理构建的简单交互世界的基于代理的时空规范,同时保留丰富的视觉细节和动态。这些结果表明,将代码用于持续世界演化与视频模型用于灵活视觉实现相结合的潜力,为开放式世界模型提供了新的路径。
查看原文
查看缓存全文

缓存时间: 2026/08/27 03:18

论文页面 - 代码世界模型:编码代理作为世界大脑

来源:https://huggingface.co/papers/2608.25927

摘要

代码世界模型通过使用语言模型生成可执行的状态更新,并使用视频模型从代理表征渲染观察结果,将持久的动态世界与视觉渲染分离开来。

世界模型 (https://huggingface.co/papers?q=World%20models) 旨在模拟复杂环境在行动和事件下的演变过程,但现有的基于视频的世界模型 (https://huggingface.co/papers?q=video-based%20world%20models) 主要从视觉观察中学习动态,这些观察揭示的是结果,而非支配世界演化的底层知识、规则和机制。这使得维持持久的后果和支持连贯、开放式的演变变得困难。我们引入了代码世界模型,这是一种通过结合语言模型 (https://huggingface.co/papers?q=language%20models) 的推理和编码能力与视频模型 (https://huggingface.co/papers?q=video%20model) 的生成先验知识,将世界演化与视觉实现分离的框架。编码代理 (https://huggingface.co/papers?q=coding%20agent) 充当世界大脑,推理事件及其后果,并生成可执行代码 (https://huggingface.co/papers?q=executable%20code) 以维护持久的世界状态并执行规则一致的演化。为了连接可执行状态与视觉生成,我们引入了一种代理表征 (https://huggingface.co/papers?q=proxy%20representation),它编码帧级的时空约束 (https://huggingface.co/papers?q=spatiotemporal%20constraints),并被编译成代理视频,该视频为视频模型 (https://huggingface.co/papers?q=video%20model) 提供条件以渲染高保真的视觉观察。我们进一步开发了数据流程,用于从游戏玩法和现实视频中构建对齐的代理-观察对。在成对的游戏玩法数据上进行微调 (https://huggingface.co/papers?q=fine-tuning) 后,MiniMax-H3 能够遵循由编码代理 (https://huggingface.co/papers?q=coding%20agent) 构建的简单交互世界的基于代理的时空规范,同时保留丰富的视觉细节和动态特性。这些结果证明了结合代码用于持久世界演化与视频模型 (https://huggingface.co/papers?q=video%20model) 用于灵活视觉实现的潜力,为开放式世界模型 (https://huggingface.co/papers?q=open-ended%20world%20models) 提供了新的路径。

查看 arXiv 页面 (https://arxiv.org/abs/2608.25927)查看 PDF (https://arxiv.org/pdf/2608.25927)项目页面 (https://buaacyw.github.io/cwm/)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.25927)

在您的代理中获取此论文:

hf papers read 2608\.25927

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

没有模型链接到本文 在模型 README.md 中引用 arxiv.org/abs/2608.25927 以从本页面链接它。

引用本文的数据集0

没有数据集链接到本文 在数据集 README.md 中引用 arxiv.org/abs/2608.25927 以从本页面链接它。

引用本文的空间0

没有空间链接到本文 在空间 README.md 中引用 arxiv.org/abs/2608.25927 以从本页面链接它。

包含本文的收藏夹0

没有收藏夹包含本文 将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以从本页面链接它。

相似文章

编码代理作为世界模拟器表现良好

arXiv cs.AI

本文提出了一种基于代理的框架,利用编码代理从自然语言提示生成物理上可信的世界模拟,在物理准确性和指令保真度方面优于基于视频的模型。

Qwen-AgentWorld: 通用智能体的语言世界模型

Hacker News Top

Qwen-AgentWorld 引入了适用于智能体环境的语言世界模型,涵盖七个领域,并具备长链思维推理能力。该工作包含一个新基准 AgentWorldBench,并且表明世界建模能够提升下游智能体的性能。

世界建模何去何从?

Hugging Face Daily Papers

本文提出了一种以智能体为中心的世界建模范式,引入了“智能体中心交互式世界代理”,并将其组织为六种功能形式,跨越智能体改进的三个递进层次,为构建能够赋能智能体规划、学习与进化的世界代理提供了路线图。

编码智能体提前思考

Hacker News Top

本文研究了编码智能体中的语言模型如何在迭代编辑过程中内部表示不断演变的程序。作者发现,线性探针可以从残差流中解码程序属性(例如解析、测试通过率),并且令人惊讶的是,这些表示在代理实际进行编辑之前就能预测未来结果,揭示了一个“潜在编程视野”。