TableVerse:一个具有真实世界基础布局的大规模桌面数据集,用于可泛化操作
摘要
TableVerse 引入了一个完全自动化的 Real2Sim 流水线,将非结构化、野外图像转换为高保真、可模拟的桌面环境,具有精确的度量标准和物理稳定性,同时提供了一个大规模数据集(TableVerse-100K),用于可泛化的机器人操作。
查看缓存全文
缓存时间: 2026/07/24 05:06
论文页面 - TableVerse:基于真实世界布局的大规模桌面数据集,用于通用操控
来源:https://huggingface.co/papers/2607.21017
摘要
通用机器人操控策略的发展从根本上受限于大规模、高保真场景数据的可用性。尽管近期的自动化合成方法试图通过文本到布局的想象生成或简化程序化生成来弥补这一差距,但这些方法常常因物理上不可行,且无法捕捉真实人类环境中复杂、密集的杂乱场景而表现不佳。在本文中,我们提出TableVerse,一个全自动化的Real2Sim流水线,它将范式从想象性布局生成转向对非结构化、真实世界图像数据的确定性重建。我们的框架能够无缝地将未经脚本编排的互联网媒体处理为高保真、可直接用于仿真的桌面环境,并具备精确的度量尺度、真实的拓扑结构和经过验证的力学稳定性。此外,我们还集成了一套自动化的任务条件轨迹生成框架,用于合成高质量、无碰撞的抓取与放置演示。基于这一完整流水线,我们构建了TableVerse-100K数据集——一个包含10万个独特且物理一致的场景,并搭配交互式操控轨迹的大规模语料库。通过捕捉多样化的物品种类、真实的物体空间分布以及高质量的演示动作,TableVerse-100K建立了一个高度可扩展且高保真的数据基础,为未来通用机器人操控任务的研究提供了重要价值。
查看arXiv页面 (https://arxiv.org/abs/2607.21017)
查看PDF (https://arxiv.org/pdf/2607.21017)
项目页面 (https://bytedance.github.io/TableVerse/)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.21017)
在你的agent中获取这篇论文:
hf papers read 2607.21017
没有最新CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型
0
没有模型链接此论文
请在一个模型的README.md中引用arxiv.org/abs/2607.21017以在此页面上链接它。
引用此论文的数据集
0
没有数据集链接此论文
请在一个数据集的README.md中引用arxiv.org/abs/2607.21017以在此页面上链接它。
引用此论文的Space
0
没有Space链接此论文
请在一个Space的README.md中引用arxiv.org/abs/2607.21017以在此页面上链接它。
包含此论文的收藏集
0
没有收藏集包含此论文
请将这篇论文添加到一个收藏集中 (https://huggingface.co/new-collection) 以在此页面上链接它。
相似文章
3DCodeVerse:将3D世界编码为代码
3DCodeVerse引入了一个研究生态体系,包含一个200万规模的可执行3D代码数据集、一个用于3D内容自动生成与验证的多智能体DAG框架,以及实证指南,表明经过微调的开源模型在与Claude Design(3D Object)的对比中达到了90%的胜率。
Deform360:面向可变形世界模型的大规模多视角视触觉数据集
Deform360是一个大规模视触觉数据集,包含198个物体、超过215小时的观测数据,用于研究可变形物体动力学,支持在机器人操作中比较2D视频与3D粒子世界模型。
TableVista:在视觉和结构复杂性下对多模态表格推理进行基准测试
介绍了 TableVista,这是一个全面的基准测试,用于评估基础模型在视觉和结构复杂性下的多模态表格推理能力,包含 3,000 个问题,扩展为 30,000 个多模态样本。对 29 个模型的评估显示,在复杂布局和仅视觉设置下性能有所下降。
SoftVTBench: 一个面向可变形物体操作的变形感知视觉触觉数据集与基准测试
SoftVTBench 呈现了一个同步的视觉触觉数据集和变形感知基准测试,用于评估可变形物体操作中的物理交互质量,包含4,000个演示和一个新的成功指标。
H2R-Bench:世界模型中的人到机器人操作视频生成基准
H2R-Bench 是一个新的基准,用于评估视频世界模型将人类操作视频转换为以机器人为中心的演示的能力,跨六类操作行为和两种机器人形态测试具身约束与交互保真度。