很高兴能分享我们正在与Nvidia合作，将@moonlake的3D Agent能力引入NVIDIA的仿真生态系统（@nvidiaomniverse），帮助团队大规模构建资产、数字孪生和场景。

以下是8对输入图像及其生成的仿真就绪场景。

更多详情请阅读：https://moonlakeai.com/blog/simulations-and-digital-twins…

使用Moonlake构建仿真与数字孪生

来源：https://moonlakeai.com/blog/simulations-and-digital-twins 在Moonlake，我们正为那些需要大规模构建和管理世界（资产、场景、数字孪生）的企业打造仿真基础设施平台，这些企业涵盖机器人/自主系统团队以及构建下一代物理AI系统的数字工厂运营者。

当前，SimReady资产和场景创建存在两个不同的市场。第一个市场是“操作简单”（即主要是刚体）且“外观过得去”就足够的资产和场景。这类常作为背景道具或简单的拾取和放置仿真使用，且日益商品化。第二个市场是那些需要被交互的资产，以及包含刚体之外动态效果的场景。此时，质量不再是一个单一维度：一个世界必须从几何、视觉材质、结构有效性、关节化程度，以及物理行为（如变形、摩擦、质量、约束、碰撞）等多个方面进行评估。

行业中的问题是，第二种类型的资产和场景难以规模化——正确的输出取决于客户的环境、预期任务、下游物理引擎、所需的逼真度以及验证标准。不同的引擎对形变及其他各种动态效果的模拟方式不同。不同的机器人/自主系统团队需要不同的场景本体。不同的数字孪生工作流需要不同级别的物理精度和操作细节。

技术美术和仿真工程师所做的这项工作需要煞费苦心的人工操作。难点不在于通过MCP、Claude Code或Codex生成初稿，而在于判断该资产是否正确、有用、可编辑、是否准备好用于仿真。

正因如此，Moonlake围绕验证构建：检查什么失败了，几何的哪个部分需要修复，如何自动修复它们，以及哪些部分仍需人工关注。为此，我们做了三件事：(1) 与多种模型和工具链（例如不同的物理引擎，如MuJoCo或NVIDIA Isaac Sim (https://developer.nvidia.com/isaac/sim)）进行云集成，以便这些验证循环可以自主运行；(2) 构建一个超越“文本转CAD”的系统，能够接受来自现实世界的杂乱多模态输入（例如CAD、点云、扫描、图像、漫游视频、设施描述、平面图、设备参考或现有场景资产），推理几何、材质、结构、关节、物理元数据和仿真器要求，并输出SimReady资产和场景；(3) 实现从人工工作流示范中自我改进，使系统能够自我提升并适应不同下游用例的工作流和标准。

我们目前的产品主要适用于两个领域：仿真和数字孪生的运营化。仿真可以包括机器人训练、用于AGI研究的世界模型、自动驾驶汽车，或媒体娱乐的内容创作。另一方面，数字孪生的运营化涉及将扫描结果重建为可复用的资产，例如将图像和点云扫描转化为用于数字工厂集成项目的SimReady资产。

实际案例：从图像到SimReady数字孪生

瓶颈不在于数据采集。仓库漫游、工厂视频、工地扫描或设备照片集可以在数小时甚至几分钟内完成采集。难点在于将原始视觉数据转化为仿真就绪的环境：结构化的、可编辑的、物理上有意义的，并且准备好在下游引擎中运行。

在下面的例子中，我们展示了Moonlake的3D Agent将现实世界的图像输入转换为仿真就绪的场景输出。

免责声明：以下示例输入图像已通过AI编辑并在我们的3D Agent上重新运行，以保护客户隐私。

左侧：源图像输入。右侧：生成的仿真引擎输出。

厨房

商用厨房——源图像输入

医疗场景

机器人手术室——源图像输入

病房——源图像输入

仓库

输出不仅是视觉重建，而是一个仿真就绪的场景，可以包含：

• 公制比例和干净的变换
• 对象层级和场景组织
• 语义命名和分组
• 适合验证和导出的几何体
• 材质与纹理兼容性检查
• 碰撞代理
• 静态、动态或运动学刚体元数据（如适用）
• 导航区域、安全区域或任务特定注释（如适用）
• 验证结果及剩余警告或失败信息
• 用于OpenUSD工作流的USD/USDZ导出
• 针对Isaac Sim、MuJoCo或内部机器人工作流的仿真器特定集成说明（如适用）
• （按需）确保我们的输出与NVIDIA Omniverse Replicator (https://docs.omniverse.nvidia.com/extensions/latest/ext_replicator.html) 兼容，即准备好进行合成数据生成，以充分利用您所生产的资产的价值。这需要在资产和场景上创建正确的VariationSets等。

补充NVIDIA的CAD到SimReady堆栈

在许多工业和机器人工作流中，起点不是文本提示，而是已有的CAD文件，尤其是对于机械、设备、车辆、工具和关节物体。

Moonlake的产品利用NVIDIA提供的基础，将CAD转换为OpenUSD格式，我们的Agent可以在各种仿真场景中继续优化和验证该格式。每个资产迭代都会通过我们和NVIDIA的SimReady验证栈（simready-foundation (https://github.com/NVIDIA/simready-foundation/)，simready-validate (https://pypi.org/project/simready-validate/)）。此外，通过基于NVIDIA的世界理解参考（可处理content-agents (https://github.com/NVIDIA-Omniverse/content-agents)），我们实现了最先进的纹理优化、材质分配和物理优化。

另外，按需我们还可以为每个资产提供与USD Search兼容的概要信息，以便资产可以轻松索引和复用。

这些工作流共同创建了一条从现有CAD、图像、扫描或点云到生产级仿真世界的可扩展路径。

Moonlake的世界构建理念

我们在Moonlake的理念是构建能够在世界认知和逻辑认知两方面实现自我改进的世界构建软件。它将随着时间自主提升：Moonlake观察到的专家工作流越多，运行的验证循环越多，它在构建和重建复杂仿真世界方面就表现得越好。

其结果是形成了一个通过数据飞轮进行扩展的系统，能够智能地即时生成和管理仿真。资产和场景可以存储、语义搜索、版本控制、自动验证，并部署到各种下游应用中。

这就是我们正在构建的未来：AI系统不仅生成世界，而且理解它们如何运作。

与我们合作

从一个针对单一限定工作流的为期1周的试点开始（[[email protected]](https://moonlakeai.com/cdn-cgi/l/email-protection#9bf8f4f5effaf8efdbf6f4f4f5f7faf0fefaf2b5f8f4f6)）。

• 范围：一个站点区域、工作单元或资产类别；一个仿真器目标；一个验证规范。
• 输入：图像、视频、CAD、扫描、点云、平面图或现有资产。
• 交付物：可编辑的Blender场景、USD/USDZ导出、验证报告、剩余警告/失败信息、仿真器集成说明。
• 成功标准：输出可导入目标工作流，通过商定的验证检查，并显著减少手动场景或资产清理时间。