代码即世界:物理推理中可执行世界表示的代理式发现
摘要
代码即世界引入了一种范式,通过将物理环境表示为可执行代码,为视觉语言模型提供定量推理能力。它使用代理式发现循环实现可扩展监督,并达到了最先进的性能。
查看缓存全文
缓存时间: 2026/09/01 12:41
论文页面 - 代码即世界:面向物理推理的可执行世界表征的智能体发现
来源:https://huggingface.co/papers/2608.27549 作者:
,
,
,
,
,
,
,
,
,
,
,
,
,
,
摘要
代码即世界范式将物理环境表示为可执行代码,从而为视觉-语言模型提供量化推理与可扩展监督。
物理理解与推理依赖于形成紧凑且可泛化的世界表征。现代视觉-语言模型(https://huggingface.co/papers?q=vision-language%20models)虽然能够识别与解释多样化的物理事件,但往往缺乏对底层机制——如物体状态、物理参数及支配动力学——的显式表征,而这些表征对于可靠推理世界演化及干预响应至关重要。本研究提出代码即世界(https://huggingface.co/papers?q=Code-as-World)范式,通过可执行世界表征(https://huggingface.co/papers?q=executable%20world%20representations)来表示物理世界。通过将物理构成、动态演化与视觉外观表达为可执行代码,代码即世界(https://huggingface.co/papers?q=Code-as-World)为物理世界提供了紧凑、量化可依且可控的抽象。为从自然语言描述或真实视频等多模态观测构建此类表征,我们开发了受溯因推理(https://huggingface.co/papers?q=abductive%20reasoning)启发的智能体发现循环(https://huggingface.co/papers?q=agentic%20discovery%20loop):智能体依次提出、执行、渲染、验证并迭代优化可执行世界假设。作为具体应用,我们利用已验证的可执行世界,为训练视觉-语言模型(https://huggingface.co/papers?q=vision-language%20models)进行量化物理推理(https://huggingface.co/papers?q=quantitative%20physical%20reasoning)提供可扩展的物理监督。实验表明,代码即世界(https://huggingface.co/papers?q=Code-as-World)-VL 在 QuantiPhy 基准上达到了最先进性能,并超越了领先的专有模型,凸显了可执行世界表征(https://huggingface.co/papers?q=executable%20world%20representations)作为物理智能可扩展基础的潜力。
查看 arXiv 页面 (https://arxiv.org/abs/2608.27549) 查看 PDF (https://arxiv.org/pdf/2608.27549) 项目主页 (https://mirros-lab.github.io/code-as-world) GitHub364 (https://github.com/mirros-lab/code-as-world) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.27549)
引用本文的模型 4
MirroS-Lab/Code-as-World-VL-9B 问答• 9B• 更新于 1 天前 • 111 • 3 (https://huggingface.co/MirroS-Lab/Code-as-World-VL-9B)
MirroS-Lab/Code-as-World-VL-4B 问答• 5B• 更新于 1 天前 • 71 • 2 (https://huggingface.co/MirroS-Lab/Code-as-World-VL-4B)
prithivMLmods/Code-as-World-VL-4B-GGUF 问答• 5B• 更新于 1 天前 • 285 • 1 (https://huggingface.co/prithivMLmods/Code-as-World-VL-4B-GGUF)
prithivMLmods/Code-as-World-VL-9B-GGUF 问答• 9B• 更新于 1 天前 • 296 • 1 (https://huggingface.co/prithivMLmods/Code-as-World-VL-9B-GGUF)
引用本文的数据集 0
暂无关联此论文的数据集
在数据集的 README.md 中引用 arxiv.org/abs/2608.27549 以从此页面关联。
引用本文的 Spaces 1
包含本文的收藏 1
相似文章
Code World Model:编程代理作为世界大脑
本文介绍了Code World Model,这是一个结合了用于推理和编码的语言模型与用于视觉渲染的视频模型,以开放式方式模拟持续世界演化的框架。
@fangfu0830: 非常感谢 @_akhaliq 分享 Code-as-World。我们已开源 Code-as-World——这是将物理体验……
Code-as-World 已开源,提供了一个利用代码作为物理世界可执行表示的框架,以提升AI的物理推理能力,同时附带预训练模型和评估工具。
VisualPatchWorld:作为规划潜在结构化表示的代码世界模型
VisualPatchWorld 提出了一种将世界动力学学习为代码的方法,能够从数据中构建可检查和可编辑的模拟器。在导航和操作任务中,它实现了强大的规划成功率。
编码代理作为世界模拟器表现良好
本文提出了一种基于代理的框架,利用编码代理从自然语言提示生成物理上可信的世界模拟,在物理准确性和指令保真度方面优于基于视频的模型。
用想象力思考:基于世界模拟器的主动式视觉空间推理
本文提出了Astra,一个主动式空间推理框架,将经过强化学习训练的VLM策略与一个世界模拟器结合起来,生成新视角的观察结果,以改进视觉语言模型中的空间推理能力。