关于物理AI的一项有趣工作：PhysX-Omni。首个统一支持刚体、可变形体和铰接物体的仿真就绪生成框架，附带多样化数据集和新基准。 https://physx-omni.github.io https://github.com/physx-omni/PhysX-Omni… https://huggingface.co/datasets/PhysX-Omni/PhysXVerse…

PhysX-Omni：面向刚体、可变形体与铰接物体的统一仿真就绪物理3D生成

来源：https://physx-omni.github.io/

摘要

仿真就绪的物理3D资产因其在下游任务中的广泛适用性而成为一个有前景的方向。然而，现有的大部分3D生成方法要么忽略物理属性，要么局限于单一资产类别（例如刚体、可变形体或铰接物体）。为解决这些限制，我们提出了PhysX-Omni——一个跨多种资产类型的统一框架，用于生成仿真就绪的物理3D内容。具体而言，我们开发了一种新颖高效的、专为视觉语言模型设计的几何表示，它无需压缩即可直接编码高分辨率3D结构，显著提升了生成性能。此外，我们构建了首个通用的仿真就绪3D数据集——PhysXVerse，涵盖了广泛的室内外类别。更进一步，为全面且灵活地评估野外场景下的生成与理解能力，我们提出了PhysX-Bench，该基准包含六个关键属性：几何、绝对尺度、材质、可供性、运动学和功能描述。采用传统指标和PhysX-Bench进行的大量实验表明，PhysX-Omni在生成和理解方面均表现出色。此外，额外研究进一步验证了PhysX-Omni在仿真就绪场景生成和机器人策略学习等应用中的潜力。我们相信PhysX-Omni能够显著推动广泛的下游应用，特别是在具身AI和基于物理的仿真领域。