SimWorld Studio:利用进化型代码代理为具身智能体学习自动生成环境

Hugging Face Daily Papers 论文

摘要

SimWorld Studio 是一个开源平台,利用进化型代码代理自动生成并优化用于具身智能体学习的 3D 环境。它利用自我进化和协同进化机制创建自适应训练场景,显著提升了智能体的性能。

得益于为代码编写、网页导航和计算机操作提供的可扩展沙箱,这些沙箱提供了丰富的交互式训练环境,基于 LLM/VLM 的数字智能体取得了 rapid 进步。相比之下,具身智能体仍然缺乏丰富、多样且自动生成的 3D 环境用于交互式学习。现有的具身模拟器依赖于手工制作的场景或程序化模板,而近期的基于 LLM 的 3D 生成系统主要产生静态场景,而非具有可验证任务和标准学习界面的可部署环境。我们推出了 SimWorld Studio,这是一个基于 Unreal Engine 5 构建的开源平台,用于生成不断进化的具身学习环境。其核心是 SimCoder,这是一个经过工具/技能增强的代码代理,它通过编写和执行引擎级代码,从语言/图像指令构建物理接地的 3D 世界。SimCoder 通过使用验证器反馈(例如编译错误、物理检查、VLM 评论)来修订环境,并自主向库中添加可重用的工具和技能,从而实现自我进化。生成的世界被导出为 Gym 风格的环境,用于具身智能体学习。SimWorld Studio 进一步实现了环境生成与具身学习之间的协同进化:智能体性能反馈指导 SimCoder 在学习者能力边界附近生成自适应课程,因此随着具身智能体的改进,环境变得日益具有挑战性。关于具身导航的三个案例研究表明,自我进化提高了生成的可靠性,生成的环境显著提高了具身智能体的性能,且这种性能可以泛化到未见过的基准测试中,协同进化相比固定环境学习带来了 18 个百分点的成功率提升,相比未经训练的智能体带来了 40 个百分点的提升。
查看原文
查看缓存全文

缓存时间: 2026/05/12 07:29

论文页面 - SimWorld Studio:用于具身智能体学习的自动环境生成与演进式编码智能体

来源:https://huggingface.co/papers/2605.09423

摘要

SimWorld Studio 是一个开源平台,基于 Unreal Engine 5 和一个具备技能增强能力的编码智能体,通过自演进(self-evolution)和共演进(co-evolution)机制,自动生成为具身智能体训练的动态演进的 3D 环境。

得益于为编程、网页浏览和计算机操作提供丰富交互式训练场景的可扩展沙箱,基于 LLM/VLM 的数字智能体取得了迅速进步。相比之下,具身智能体(https://huggingface.co/papers?q=embodied%20agents)仍然缺乏大量、多样化且自动生成的 3D 环境(https://huggingface.co/papers?q=3D%20environments)来进行交互式学习。现有的具身模拟器依赖于手工制作的场景或程序化模板,而近期基于 LLM 的 3D 生成系统主要产生静态场景,而非带有可验证任务和标准学习接口的可部署环境。我们引入了 SimWorld Studio,这是一个基于 Unreal Engine 5(https://huggingface.co/papers?q=Unreal%20Engine%205)的开源平台,用于生成演进的具身学习环境。其核心是 SimCoder(https://huggingface.co/papers?q=SimCoder),一个工具/技能增强的编码智能体,能够编写并执行引擎级代码,从语言/图像指令中构建物理真实的 3D 世界。SimCoder(https://huggingface.co/papers?q=SimCoder)利用验证器反馈(例如,编译错误、物理检查、VLM 批评)来修正环境,并自主向其库中添加可复用的工具和技能,从而实现自演进。生成的世界被导出为 Gym 风格的环境(https://huggingface.co/papers?q=Gym-style%20environments),用于具身智能体学习。SimWorld Studio 进一步实现了环境生成与具身学习之间的共演进(https://huggingface.co/papers?q=co-evolution):智能体性能反馈(https://huggingface.co/papers?q=agent%20performance%20feedback)引导 SimCoder(https://huggingface.co/papers?q=SimCoder)在学习者能力边界附近生成自适应课程(https://huggingface.co/papers?q=adaptive%20curricula),因此随着具身智能体的提升,环境变得越来越具有挑战性。关于具身导航(https://huggingface.co/papers?q=embodied%20navigation)的三个案例研究表明,自演进(https://huggingface.co/papers?q=self-evolution)提高了生成的可靠性,生成的环境显著提升了具身智能体的性能,并且这种性能泛化到了未见过的基准测试中,而共演进(https://huggingface.co/papers?q=co-evolution)相比固定环境学习带来了 18 个百分点的成功率提升,相比未训练的智能体则带来了 40 个百分点的提升。

查看 arXiv 页面 (https://arxiv.org/abs/2605.09423) 查看 PDF (https://arxiv.org/pdf/2605.09423) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2605.09423)

在你的智能体中获取这篇论文:

hf papers read 2605\.09423

还没有最新的 CLI? curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.09423 以从此页面建立链接。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.09423 以从此页面建立链接。

引用此论文的空间 0

没有空间(Space)链接此论文

在空间(Space)README.md 中引用 arxiv.org/abs/2605.09423 以从此页面建立链接。

包含此论文的收藏集 0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面建立链接。

相似文章

Agent-World:面向演进式通用智能体的现实世界环境合成扩展

Hugging Face Daily Papers

# 论文页面 - Agent-World: Scaling Real-World Environment Synthesis for Evolving General Agent Intelligence 来源:[https://huggingface.co/papers/2604.18292](https://huggingface.co/papers/2604.18292) 发布于 4 月 20 日 · 提交者[https://huggingface.co/dongguanting](https://huggingface.co/dongguanting) [![](https://cdn-avatars.huggingface.co/v1/production/uploads/61cd4b833dd34ba1985e0753/BfHfrwotoMESpXZOHiIe4.png)](https://huggingface.co/dongguanting) [KABI](https://huggingface.co/donggua

编码代理作为世界模拟器表现良好

arXiv cs.AI

本文提出了一种基于代理的框架,利用编码代理从自然语言提示生成物理上可信的世界模拟,在物理准确性和指令保真度方面优于基于视频的模型。