SimFoundry:模块化与自动化场景生成用于策略学习与评估
摘要
SimFoundry 是一个模块化系统,可从视频自动化真实到仿真场景构建,生成数字孪生体并保留功能属性的变体,用于零样本机器人策略训练,实现了向真实世界任务的强迁移和高仿真到真实性能预测。
查看缓存全文
缓存时间: 2026/06/29 02:00
论文页面 - SimFoundry:面向策略学习与评估的模块化自动化场景生成
来源:https://huggingface.co/papers/2606.28276 作者:
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
摘要
SimFoundry 通过自动化仿真构建以及多样化的场景变体实现零样本真实世界机器人策略训练,同时提升泛化能力与性能预测。
在真实世界中训练和评估机器人策略成本高昂且难以规模化。我们提出 SimFoundry,一个从视频到仿真场景 (https://huggingface.co/papers?q=real-to-sim%20scene%20construction) 的零样本构建的模块化自动化系统。SimFoundry 能够生成仿真就绪的数字孪生 (https://huggingface.co/papers?q=digital%20twins),并支持物体、场景和任务编辑,从而自动生成多样化的数字同类 (https://huggingface.co/papers?q=digital%20cousins):即保留功能 (https://huggingface.co/papers?q=affordance-preserving%20variations) 的重建真实场景变体。基于 SimFoundry 数据训练的策略可零样本迁移至涉及多步操作、铰接物体交互及双臂交互等具有挑战性的真实任务;其数字同类 (https://huggingface.co/papers?q=digital%20cousins)(原始场景、物体和任务的变体)有助于泛化到新的真实世界条件。在 7 个操作任务和 5 种策略架构上,SimFoundry 的仿真评估 (https://huggingface.co/papers?q=simulation%20evaluation) 能强有力地预测真实世界性能,平均皮尔逊相关系数为 0.911,平均最大排序违反率为 0.018。当在真实世界中对仿真训练的策略进行零样本评估时,使用物体、场景和任务同类变体进行训练的策略分别将平均任务成功率提升了 17%、21% 和 40%。更多细节请访问 https://research.nvidia.com/labs/gear/simfoundry/。
查看 arXiv 页面 (https://arxiv.org/abs/2606.28276) 查看 PDF (https://arxiv.org/pdf/2606.28276) 项目页面 (https://research.nvidia.com/labs/gear/simfoundry/) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.28276)
在您的 agent 中获取此论文:
hf papers read 2606.28276
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型
0
没有模型链接此论文
请在模型 README.md 中引用 arxiv.org/abs/2606.28276,以便从此页面链接。
引用此论文的数据集
0
没有数据集链接此论文
请在数据集 README.md 中引用 arxiv.org/abs/2606.28276,以便从此页面链接。
引用此论文的 Space
0
没有 Space 链接此论文
请在 Space README.md 中引用 arxiv.org/abs/2606.28276,以便从此页面链接。
包含此论文的收藏集
0
没有收藏集包含此论文
请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 中,以便从此页面链接。
相似文章
策略感知模拟器学习的理论基础与高效算法
本文提出了一种用于基于模型的强化学习中模拟器学习的策略鲁棒性目标,将其建模为模型玩家与对抗性策略玩家之间的极小极大博弈。提供了理论保证和可证明收敛的算法,实验表明预测误差在关键区域降低1.5-2.2倍,并提升了策略从模拟到真实世界的迁移效果。
AI代理创建虚拟游乐场,帮助机器人获取关键训练数据
MIT CSAIL与丰田研究所推出SceneSmith,该系统利用GPT-5.2驱动的AI代理自动生成丰富的3D虚拟场景,为机器人训练提供多样化的模拟环境,无需大量真实世界测试。
RoboTALES:通过任务对齐的模拟未来学习推理引导的机器人策略
RoboTALES引入了一个两阶段框架,结合基于LLM的规划和基于VLM的批评,以改进任务对齐的视频生成和机器人策略训练,在长时域操作任务上显著优于现有方法。
SimWorld Studio:利用进化型代码代理为具身智能体学习自动生成环境
SimWorld Studio 是一个开源平台,利用进化型代码代理自动生成并优化用于具身智能体学习的 3D 环境。它利用自我进化和协同进化机制创建自适应训练场景,显著提升了智能体的性能。
SimWorlds:用于动态3D场景创作的多智能体系统
SimWorlds是一个多智能体框架,能够通过自然语言生成动态、可编辑的4D场景。它利用Blender特定的程序化知识以及规划-编码-审查工作流,性能优于先前基线。