SimFoundry:模块化与自动化场景生成用于策略学习与评估
摘要
SimFoundry 是一个模块化系统,可从视频自动化真实到仿真场景构建,生成数字孪生体并保留功能属性的变体,用于零样本机器人策略训练,实现了向真实世界任务的强迁移和高仿真到真实性能预测。
查看缓存全文
缓存时间: 2026/06/29 02:00
论文页面 - SimFoundry:面向策略学习与评估的模块化自动化场景生成
来源:https://huggingface.co/papers/2606.28276 作者:
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
摘要
SimFoundry 通过自动化仿真构建以及多样化的场景变体实现零样本真实世界机器人策略训练,同时提升泛化能力与性能预测。
在真实世界中训练和评估机器人策略成本高昂且难以规模化。我们提出 SimFoundry,一个从视频到仿真场景 (https://huggingface.co/papers?q=real-to-sim%20scene%20construction) 的零样本构建的模块化自动化系统。SimFoundry 能够生成仿真就绪的数字孪生 (https://huggingface.co/papers?q=digital%20twins),并支持物体、场景和任务编辑,从而自动生成多样化的数字同类 (https://huggingface.co/papers?q=digital%20cousins):即保留功能 (https://huggingface.co/papers?q=affordance-preserving%20variations) 的重建真实场景变体。基于 SimFoundry 数据训练的策略可零样本迁移至涉及多步操作、铰接物体交互及双臂交互等具有挑战性的真实任务;其数字同类 (https://huggingface.co/papers?q=digital%20cousins)(原始场景、物体和任务的变体)有助于泛化到新的真实世界条件。在 7 个操作任务和 5 种策略架构上,SimFoundry 的仿真评估 (https://huggingface.co/papers?q=simulation%20evaluation) 能强有力地预测真实世界性能,平均皮尔逊相关系数为 0.911,平均最大排序违反率为 0.018。当在真实世界中对仿真训练的策略进行零样本评估时,使用物体、场景和任务同类变体进行训练的策略分别将平均任务成功率提升了 17%、21% 和 40%。更多细节请访问 https://research.nvidia.com/labs/gear/simfoundry/。
查看 arXiv 页面 (https://arxiv.org/abs/2606.28276) 查看 PDF (https://arxiv.org/pdf/2606.28276) 项目页面 (https://research.nvidia.com/labs/gear/simfoundry/) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.28276)
在您的 agent 中获取此论文:
hf papers read 2606.28276
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型
0
没有模型链接此论文
请在模型 README.md 中引用 arxiv.org/abs/2606.28276,以便从此页面链接。
引用此论文的数据集
0
没有数据集链接此论文
请在数据集 README.md 中引用 arxiv.org/abs/2606.28276,以便从此页面链接。
引用此论文的 Space
0
没有 Space 链接此论文
请在 Space README.md 中引用 arxiv.org/abs/2606.28276,以便从此页面链接。
包含此论文的收藏集
0
没有收藏集包含此论文
请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 中,以便从此页面链接。
相似文章
策略感知模拟器学习的理论基础与高效算法
本文提出了一种用于基于模型的强化学习中模拟器学习的策略鲁棒性目标,将其建模为模型玩家与对抗性策略玩家之间的极小极大博弈。提供了理论保证和可证明收敛的算法,实验表明预测误差在关键区域降低1.5-2.2倍,并提升了策略从模拟到真实世界的迁移效果。
SimWorld Studio:利用进化型代码代理为具身智能体学习自动生成环境
SimWorld Studio 是一个开源平台,利用进化型代码代理自动生成并优化用于具身智能体学习的 3D 环境。它利用自我进化和协同进化机制创建自适应训练场景,显著提升了智能体的性能。
注意仿真与现实的差距,并像科学家一样思考
本文研究在序贯决策问题中,规划者何时以及如何用真实实验补充预训练模拟器,提出Fisher-SEP以最小化目标策略值的后验方差。
RoboLab:用于任务通用策略分析的高保真仿真基准
# 论文页面 - RoboLab:用于任务通用策略分析的高保真仿真基准 来源:[https://huggingface.co/papers/2604.09860](https://huggingface.co/papers/2604.09860) ## 摘要 RoboLab 是一个仿真基准框架,通过可扩展的真实任务生成和对策略在受控扰动下行为的系统分析,解决机器人策略评估中的局限。
LychSim:面向视觉研究的可控交互式仿真框架
本文介绍了 LychSim,这是一个基于 Unreal Engine 5 构建的可控仿真框架,旨在促进视觉研究、合成数据生成,并通过集成 MCP 实现智能体 LLM 的评估。