SPEAR:用于逼真具身人工智能研究的模拟器

Hugging Face Daily Papers 论文

摘要

SPEAR 是一个 Python 库,能够高速控制 Unreal Engine 进行逼真渲染,为具身人工智能研究提供广泛的可编程性和独特的地面真实模态。

交互式模拟器已成为训练具身智能体以及生成合成视觉数据的有力工具,但现有的逼真模拟器在通用性、可编程性和渲染速度方面存在局限。为克服这些局限,我们推出了 SPEAR:一种用于逼真具身人工智能研究的模拟器。其核心是一款 Python 库,可通过模块化插件架构连接并编程控制任何 Unreal Engine (UE) 应用。SPEAR 向 Python 暴露了超过 14,000 个独特的 UE 函数,比现有基于 UE 的模拟器在可编程功能上提升了一个数量级。此外,单个 SPEAR 实例能够以每秒 73 帧的速度将 1920x1080 分辨率的逼真图像直接渲染到用户的 NumPy 数组中——速度比现有 UE 插件快一个数量级——同时还能提供现有任何基于 UE 的模拟器均不具备的地面真实图像模态(例如非漫反射固有图像分解、材质 ID 以及基于物理的着色参数)。最后,SPEAR 引入了一种富有表现力的高级编程模型,使用户能够指定复杂的 UE 工作图,其中工作项之间可存在任意数据依赖关系,并在单个 UE 帧内确定性地执行这些图。我们通过一系列多样化的示例应用展示了 SPEAR 的实用性:在多个来自真实世界的 UE 项目中控制具有不同动作空间的多种具身智能体(例如人类、汽车和机器人);渲染逼真的城市级环境;操作 UE 的程序化内容生成系统;渲染详细人脸的同步多视图图像;与 MuJoCo 物理模拟器协调进行交互式协同模拟;以及通过 AI 编码助手使用自然语言编辑场景。
查看原文
查看缓存全文

缓存时间: 2026/07/16 17:44

论文页面 - SPEAR:面向逼真具身AI研究的模拟器

来源:https://huggingface.co/papers/2607.06701 作者:

摘要

交互式模拟器已成为训练具身智能体与生成合成视觉数据的有力工具,但现有逼真模拟器在通用性、可编程性和渲染速度方面存在局限。为克服这些限制,我们提出SPEAR:面向逼真具身AI研究的模拟器。其核心是一个Python库,可通过模块化插件架构连接并编程控制任意Unreal Engine(UE)应用。SPEAR向Python暴露了超过1.4万个独特的UE函数,相较于现有基于UE的模拟器,可编程功能提升了数量级。此外,单个SPEAR实例能以73帧/秒的速度将1920×1080的逼真美观图像直接渲染到用户的NumPy数组中——速度比现有UE插件快一个数量级——同时还提供现有基于UE的模拟器无法获取的真实图像模态(例如非漫反射固有图像分解、材质ID和基于物理的着色参数)。最后,SPEAR引入了一种富有表现力的高层编程模型,允许用户指定包含任意数据依赖关系的复杂UE工作图,并在单个UE帧内确定性地执行这些图。我们通过一系列多样化示例应用展示了SPEAR的实用性:在多个野外UE项目中控制具有不同动作空间的多个具身智能体(如人、车和机器人);渲染逼真的城市场景;操控UE的程序化内容生成系统;渲染同步多视角的人脸细节图像;协调与MuJoCo物理模拟器的交互式共模拟;以及通过AI编程助手以自然语言编辑场景。

查看arXiv页面(https://arxiv.org/abs/2607.06701)查看PDF(https://arxiv.org/pdf/2607.06701)项目页面(https://mikeroberts3000.github.io/papers/spear)GitHub529(https://github.com/spear-sim/spear)添加收藏(https://huggingface.co/login?next=%2Fpapers%2F2607.06701)

引用该论文的模型0

暂无模型关联此论文

请在模型README.md中引用arxiv.org/abs/2607.06701以从本页链接。

引用该论文的数据集0

暂无数据集关联此论文

请在数据集README.md中引用arxiv.org/abs/2607.06701以从本页链接。

引用该论文的Space0

暂无Space关联此论文

请在Space README.md中引用arxiv.org/abs/2607.06701以从本页链接。

包含该论文的收藏集1

相似文章

SPEAR:代码增强的智能体提示优化

arXiv cs.CL

SPEAR 是一个代码增强的智能体提示优化器,它利用 Python 沙箱进行结构错误分析,在包括工业裁判任务、BBH 和 GSM8K 在内的多个 LLM 评估套件上取得了最先进的性能。

SPINE:用智能体AI弥合虚实鸿沟

arXiv cs.AI

SPINE是一个智能体框架,能够系统化地调试和部署双臂机器人,减少对专家标定的依赖,并提升跨平台的操作化成功率。

AgentSPEX:一种智能体规范与执行语言

Hugging Face Daily Papers

AgentSPEX 提出了一种领域专用语言,用于构建模块化、可解释的大模型智能体工作流,具备显式控制流、状态管理与可视化编辑器,性能优于现有 Python 耦合框架。

ASPIRE:面向机器人的自主技能发现

Hugging Face Daily Papers

ASPIRE 是一个持续学习系统,通过迭代探索自主开发和优化机器人控制程序,在操作任务和家务任务中取得显著提升,并实现了从仿真到现实的迁移。