SimFoundry:模块化与自动化场景生成用于策略学习与评估

Hugging Face Daily Papers 论文

摘要

SimFoundry 是一个模块化系统,可从视频自动化真实到仿真场景构建,生成数字孪生体并保留功能属性的变体,用于零样本机器人策略训练,实现了向真实世界任务的强迁移和高仿真到真实性能预测。

在现实世界中训练和评估机器人策略成本高昂且难以扩展。我们介绍了SimFoundry,一个用于从视频进行零样本真实到仿真场景构建的模块化自动化系统。SimFoundry生成仿真就绪的数字孪生体,并支持对象、场景和任务编辑,从而实现多样化的数字同类项的自动生成:保留原始重建场景功能属性的变体。使用SimFoundry数据训练的策略能够零样本迁移到涉及多步操作、铰接物体交互和双手交互的挑战性真实任务中,其数字同类项(原始场景、对象和任务的变体)有助于泛化到新的真实世界条件。在7个操作任务和5种策略架构上,SimFoundry仿真评估强有力地预测了真实世界性能,平均皮尔逊相关系数为0.911,平均最大排名违例为0.018。当在现实世界中零样本评估仿真训练的策略时,使用仿真中对象、场景和任务同类项训练的策略平均任务成功率分别提高了17%、21%和40%。更多详情请访问 https://research.nvidia.com/labs/gear/simfoundry/ 。
查看原文
查看缓存全文

缓存时间: 2026/06/29 02:00

论文页面 - SimFoundry:面向策略学习与评估的模块化自动化场景生成

来源:https://huggingface.co/papers/2606.28276 作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

SimFoundry 通过自动化仿真构建以及多样化的场景变体实现零样本真实世界机器人策略训练,同时提升泛化能力与性能预测。

在真实世界中训练和评估机器人策略成本高昂且难以规模化。我们提出 SimFoundry,一个从视频到仿真场景 (https://huggingface.co/papers?q=real-to-sim%20scene%20construction) 的零样本构建的模块化自动化系统。SimFoundry 能够生成仿真就绪的数字孪生 (https://huggingface.co/papers?q=digital%20twins),并支持物体、场景和任务编辑,从而自动生成多样化的数字同类 (https://huggingface.co/papers?q=digital%20cousins):即保留功能 (https://huggingface.co/papers?q=affordance-preserving%20variations) 的重建真实场景变体。基于 SimFoundry 数据训练的策略可零样本迁移至涉及多步操作、铰接物体交互及双臂交互等具有挑战性的真实任务;其数字同类 (https://huggingface.co/papers?q=digital%20cousins)(原始场景、物体和任务的变体)有助于泛化到新的真实世界条件。在 7 个操作任务和 5 种策略架构上,SimFoundry 的仿真评估 (https://huggingface.co/papers?q=simulation%20evaluation) 能强有力地预测真实世界性能,平均皮尔逊相关系数为 0.911,平均最大排序违反率为 0.018。当在真实世界中对仿真训练的策略进行零样本评估时,使用物体、场景和任务同类变体进行训练的策略分别将平均任务成功率提升了 17%、21% 和 40%。更多细节请访问 https://research.nvidia.com/labs/gear/simfoundry/。

查看 arXiv 页面 (https://arxiv.org/abs/2606.28276) 查看 PDF (https://arxiv.org/pdf/2606.28276) 项目页面 (https://research.nvidia.com/labs/gear/simfoundry/) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.28276)

在您的 agent 中获取此论文:

hf papers read 2606.28276

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型

0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.28276,以便从此页面链接。

引用此论文的数据集

0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.28276,以便从此页面链接。

引用此论文的 Space

0

没有 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.28276,以便从此页面链接。

包含此论文的收藏集

0

没有收藏集包含此论文

请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 中,以便从此页面链接。

相似文章

策略感知模拟器学习的理论基础与高效算法

arXiv cs.LG

本文提出了一种用于基于模型的强化学习中模拟器学习的策略鲁棒性目标,将其建模为模型玩家与对抗性策略玩家之间的极小极大博弈。提供了理论保证和可证明收敛的算法,实验表明预测误差在关键区域降低1.5-2.2倍,并提升了策略从模拟到真实世界的迁移效果。

RoboLab:用于任务通用策略分析的高保真仿真基准

Hugging Face Daily Papers

# 论文页面 - RoboLab:用于任务通用策略分析的高保真仿真基准 来源:[https://huggingface.co/papers/2604.09860](https://huggingface.co/papers/2604.09860) ## 摘要 RoboLab 是一个仿真基准框架,通过可扩展的真实任务生成和对策略在受控扰动下行为的系统分析,解决机器人策略评估中的局限。