代码即世界:物理推理中可执行世界表示的代理式发现

Papers with Code Trending 论文

摘要

代码即世界引入了一种范式,通过将物理环境表示为可执行代码,为视觉语言模型提供定量推理能力。它使用代理式发现循环实现可扩展监督,并达到了最先进的性能。

物理理解和推理依赖于形成紧凑且可泛化的世界表示。虽然现代视觉语言模型能够识别和解释多种物理事件,但它们往往缺乏对底层机制的明确表示,例如物体状态、物理参数和支配动力学,这些对于可靠推理世界如何演化和响应干预至关重要。在这项工作中,我们引入了代码即世界,这是一种通过可执行世界表示来表示物理世界的范式。通过将物理组成、动态演化和视觉外观表示为可执行代码,代码即世界提供了一个紧凑、定量基础且可控的物理世界抽象。为了从多模态观察(如自然语言描述或真实世界视频)构建此类表示,我们开发了一种受溯因推理启发的代理式发现循环,其中代理提出、执行、渲染、验证并迭代细化可执行世界假设。作为具体应用,我们使用经过验证的可执行世界为训练视觉语言模型进行定量物理推理提供可扩展的物理监督。实验表明,Code-as-World-VL在QuantiPhy上达到了最先进的性能,并超越了领先的专有模型,突出了可执行世界表示作为物理智能可扩展基础的潜力。
查看原文
查看缓存全文

缓存时间: 2026/09/01 12:41

论文页面 - 代码即世界:面向物理推理的可执行世界表征的智能体发现

来源:https://huggingface.co/papers/2608.27549 作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

代码即世界范式将物理环境表示为可执行代码,从而为视觉-语言模型提供量化推理与可扩展监督。

物理理解与推理依赖于形成紧凑且可泛化的世界表征。现代视觉-语言模型(https://huggingface.co/papers?q=vision-language%20models)虽然能够识别与解释多样化的物理事件,但往往缺乏对底层机制——如物体状态、物理参数及支配动力学——的显式表征,而这些表征对于可靠推理世界演化及干预响应至关重要。本研究提出代码即世界(https://huggingface.co/papers?q=Code-as-World)范式,通过可执行世界表征(https://huggingface.co/papers?q=executable%20world%20representations)来表示物理世界。通过将物理构成、动态演化与视觉外观表达为可执行代码,代码即世界(https://huggingface.co/papers?q=Code-as-World)为物理世界提供了紧凑、量化可依且可控的抽象。为从自然语言描述或真实视频等多模态观测构建此类表征,我们开发了受溯因推理(https://huggingface.co/papers?q=abductive%20reasoning)启发的智能体发现循环(https://huggingface.co/papers?q=agentic%20discovery%20loop):智能体依次提出、执行、渲染、验证并迭代优化可执行世界假设。作为具体应用,我们利用已验证的可执行世界,为训练视觉-语言模型(https://huggingface.co/papers?q=vision-language%20models)进行量化物理推理(https://huggingface.co/papers?q=quantitative%20physical%20reasoning)提供可扩展的物理监督。实验表明,代码即世界(https://huggingface.co/papers?q=Code-as-World)-VL 在 QuantiPhy 基准上达到了最先进性能,并超越了领先的专有模型,凸显了可执行世界表征(https://huggingface.co/papers?q=executable%20world%20representations)作为物理智能可扩展基础的潜力。

查看 arXiv 页面 (https://arxiv.org/abs/2608.27549) 查看 PDF (https://arxiv.org/pdf/2608.27549) 项目主页 (https://mirros-lab.github.io/code-as-world) GitHub364 (https://github.com/mirros-lab/code-as-world) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.27549)

引用本文的模型 4

MirroS-Lab/Code-as-World-VL-9B 问答• 9B• 更新于 1 天前 • 111 • 3 (https://huggingface.co/MirroS-Lab/Code-as-World-VL-9B)

MirroS-Lab/Code-as-World-VL-4B 问答• 5B• 更新于 1 天前 • 71 • 2 (https://huggingface.co/MirroS-Lab/Code-as-World-VL-4B)

prithivMLmods/Code-as-World-VL-4B-GGUF 问答• 5B• 更新于 1 天前 • 285 • 1 (https://huggingface.co/prithivMLmods/Code-as-World-VL-4B-GGUF)

prithivMLmods/Code-as-World-VL-9B-GGUF 问答• 9B• 更新于 1 天前 • 296 • 1 (https://huggingface.co/prithivMLmods/Code-as-World-VL-9B-GGUF)

引用本文的数据集 0

暂无关联此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2608.27549 以从此页面关联。

引用本文的 Spaces 1

包含本文的收藏 1

相似文章

Code World Model:编程代理作为世界大脑

Hugging Face Daily Papers

本文介绍了Code World Model,这是一个结合了用于推理和编码的语言模型与用于视觉渲染的视频模型,以开放式方式模拟持续世界演化的框架。

编码代理作为世界模拟器表现良好

arXiv cs.AI

本文提出了一种基于代理的框架,利用编码代理从自然语言提示生成物理上可信的世界模拟,在物理准确性和指令保真度方面优于基于视频的模型。