SceneCode:用于可编辑室内场景(含铰接物体)的可执行世界程序

Hugging Face Daily Papers 论文

摘要

SceneCode 将自然语言提示转化为可执行代码,生成可交互、可用于仿真的室内场景(含铰接物体),实现细粒度的可控性与按需资产创建。

室内场景合成支撑着具身 AI、机器人操作以及基于仿真的策略评估,一个有用的场景不仅需要指定环境的外观,还需明确其物体如何构成。然而,现有流程通常将生成的内容表示为静态网格,并且只能从精选资产库继承铰接信息,这限制了物体级别的可控性,也无法按需生成新的可交互资产。我们通过将物理可交互的室内场景合成表述为程序化世界生成来填补这一空白,并提出了 SceneCode 框架,该框架将自然语言提示编译成可执行的、代码驱动的室内世界,而非一系列不透明的网格。一个房间级别的智能体主干首先将提示转化为结构化的房屋布局,并通过规划器-设计器-评审循环为每个物体发出资产请求。然后,每个请求被路由到五种代码生成策略之一,并转换为合成的部件级 Blender Python 程序,这些程序通过执行引导的修复与优化循环进行验证。最终程序被编译为可用于仿真的资产,并导出为用于物理仿真的 SDF 格式。一个持久的场景状态注册表将物体请求、可执行程序、渲染几何体以及仿真资产关联起来,将场景汇编转变为可追踪、可局部编辑的世界构建过程。我们在场景级别合成、物体级别资产质量、人工评估以及下游机器人交互方面对 SceneCode 进行了评估。结果表明,可执行的世界程序改善了符合提示的室内场景生成,并产生了具有更清晰网格结构以及可加载至仿真器的铰接元数据的资产。项目页面:https://scene-code.github.io/。
查看原文
查看缓存全文

缓存时间: 2026/05/20 02:35

Paper page - SceneCode:用于可编辑室内场景(含铰接物体)的可执行世界程序

来源:https://huggingface.co/papers/2605.19587

摘要

SceneCode 通过将自然语言提示转换为可执行代码,实现可编程的室内场景生成,从而生成带有结构化物体表示的交互式、可仿真环境。

室内场景合成支撑着具身AI、机器人操作和基于仿真的策略评估。在这些场景中,一个有用的场景不仅需要指定环境的外观,还需明确其物体的结构方式。然而,现有管线通常将生成内容表示为静态网格,并仅从精选资产库继承铰接信息,这限制了物体级别的可控性,并阻碍了按需生成新的可交互资产。为解决这一差距,我们将物理可交互的室内场景合成形式化为程序化世界生成,并提出 SceneCode 框架,该框架将自然语言提示编译为可执行、由代码驱动的室内世界,而非一组不透明的网格。一个房间级别的智能体主干首先将提示转换为结构化的房屋布局,并通过规划-设计-评审循环发出每个物体的 AssetRequest。每个请求随后被路由至五种代码生成策略之一,并转换为合成的部件级 Blender Python 程序,这些程序通过执行引导的修复-优化循环进行验证。最终的程序被编译成可直接用于仿真的资产,并导出为 SDF 格式用于物理仿真。一个持久化的场景状态注册表连接物体请求、可执行程序、渲染几何体和仿真资产,将场景组装转变为可追踪、可局部编辑的世界构建过程。我们通过场景级合成、物体级资产质量、人工评估以及下游机器人交互来评估 SceneCode。结果表明,可执行世界程序改善了语义贴合提示的室内场景生成,并生成具有更清晰网格结构和仿真器可加载铰接元数据的资产。项目页面:https://scene-code.github.io/。

查看 arXiv 页面 (https://arxiv.org/abs/2605.19587)查看 PDF (https://arxiv.org/pdf/2605.19587)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.19587)

在你的 Agent 中获取此论文:

hf papers read 2605\.19587

没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型引用此论文

在模型 README.md 中引用 arxiv.org/abs/2605.19587 以在此页面上显示链接。

引用此论文的数据集0

没有数据集引用此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.19587 以在此页面上显示链接。

引用此论文的 Spaces0

没有 Space 引用此论文

在 Space README.md 中引用 arxiv.org/abs/2605.19587 以在此页面上显示链接。

包含此论文的收藏夹0

没有收藏夹包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection)以在此页面上显示链接。

相似文章

编码代理作为世界模拟器表现良好

arXiv cs.AI

本文提出了一种基于代理的框架,利用编码代理从自然语言提示生成物理上可信的世界模拟,在物理准确性和指令保真度方面优于基于视频的模型。