SPEAR:用于逼真具身人工智能研究的模拟器
摘要
SPEAR 是一个 Python 库,能够高速控制 Unreal Engine 进行逼真渲染,为具身人工智能研究提供广泛的可编程性和独特的地面真实模态。
查看缓存全文
缓存时间: 2026/07/16 17:44
论文页面 - SPEAR:面向逼真具身AI研究的模拟器
来源:https://huggingface.co/papers/2607.06701 作者:
,
,
,
,
,
,
,
,
,
,
,
摘要
交互式模拟器已成为训练具身智能体与生成合成视觉数据的有力工具,但现有逼真模拟器在通用性、可编程性和渲染速度方面存在局限。为克服这些限制,我们提出SPEAR:面向逼真具身AI研究的模拟器。其核心是一个Python库,可通过模块化插件架构连接并编程控制任意Unreal Engine(UE)应用。SPEAR向Python暴露了超过1.4万个独特的UE函数,相较于现有基于UE的模拟器,可编程功能提升了数量级。此外,单个SPEAR实例能以73帧/秒的速度将1920×1080的逼真美观图像直接渲染到用户的NumPy数组中——速度比现有UE插件快一个数量级——同时还提供现有基于UE的模拟器无法获取的真实图像模态(例如非漫反射固有图像分解、材质ID和基于物理的着色参数)。最后,SPEAR引入了一种富有表现力的高层编程模型,允许用户指定包含任意数据依赖关系的复杂UE工作图,并在单个UE帧内确定性地执行这些图。我们通过一系列多样化示例应用展示了SPEAR的实用性:在多个野外UE项目中控制具有不同动作空间的多个具身智能体(如人、车和机器人);渲染逼真的城市场景;操控UE的程序化内容生成系统;渲染同步多视角的人脸细节图像;协调与MuJoCo物理模拟器的交互式共模拟;以及通过AI编程助手以自然语言编辑场景。
查看arXiv页面(https://arxiv.org/abs/2607.06701)查看PDF(https://arxiv.org/pdf/2607.06701)项目页面(https://mikeroberts3000.github.io/papers/spear)GitHub529(https://github.com/spear-sim/spear)添加收藏(https://huggingface.co/login?next=%2Fpapers%2F2607.06701)
引用该论文的模型0
暂无模型关联此论文
请在模型README.md中引用arxiv.org/abs/2607.06701以从本页链接。
引用该论文的数据集0
暂无数据集关联此论文
请在数据集README.md中引用arxiv.org/abs/2607.06701以从本页链接。
引用该论文的Space0
暂无Space关联此论文
请在Space README.md中引用arxiv.org/abs/2607.06701以从本页链接。
包含该论文的收藏集1
相似文章
SPEAR:代码增强的智能体提示优化
SPEAR 是一个代码增强的智能体提示优化器,它利用 Python 沙箱进行结构错误分析,在包括工业裁判任务、BBH 和 GSM8K 在内的多个 LLM 评估套件上取得了最先进的性能。
@ManycoreTech: 我们的论文刚刚被#ECCV2026接收——其中最让我们激动的是:SPEAR,我们的下一代物理AI模拟…
ManycoreTech的论文被ECCV2026接收,其中最引人注目的是SPEAR,一个基于OpenUSD构建的下一代物理AI仿真平台,可将真实世界空间数字化,用于机器人训练。
SPINE:用智能体AI弥合虚实鸿沟
SPINE是一个智能体框架,能够系统化地调试和部署双臂机器人,减少对专家标定的依赖,并提升跨平台的操作化成功率。
AgentSPEX:一种智能体规范与执行语言
AgentSPEX 提出了一种领域专用语言,用于构建模块化、可解释的大模型智能体工作流,具备显式控制流、状态管理与可视化编辑器,性能优于现有 Python 耦合框架。
ASPIRE:面向机器人的自主技能发现
ASPIRE 是一个持续学习系统,通过迭代探索自主开发和优化机器人控制程序,在操作任务和家务任务中取得显著提升,并实现了从仿真到现实的迁移。