NVIDIA Cosmos-H-Dreams：将实时生成式仿真引入手术机器人技术

来源：https://huggingface.co/blog/nvidia/cosmos-h-dreams 返回文章列表 (https://huggingface.co/blog)

• 1. 从手术世界模型到交互式模拟器 (https://huggingface.co/blog/nvidia/cosmos-h-dreams#1-from-surgical-world-model-to-interactive-simulator)
• 2. 为实时进行Cosmos-H-Surgical-Simulator蒸馏 (https://huggingface.co/blog/nvidia/cosmos-h-dreams#2-distilling-cosmos-h-surgical-simulator-for-real-time)- 2.1. 手术教师模型 (https://huggingface.co/blog/nvidia/cosmos-h-dreams#21-a-surgical-teacher) - 2.2. 因果预热 (https://huggingface.co/blog/nvidia/cosmos-h-dreams#22-causal-warmup) - 2.3. 自强制蒸馏 (https://huggingface.co/blog/nvidia/cosmos-h-dreams#23-self-forcing-distillation)
• 3. FlashDreams：实时推理引擎 (https://huggingface.co/blog/nvidia/cosmos-h-dreams#3-flashdreams-the-real-time-inference-engine)
• 4. 适配你自己的数据 (https://huggingface.co/blog/nvidia/cosmos-h-dreams#4-adapting-to-your-own-data)
• 5. 下一步：迈向闭环手术物理AI (https://huggingface.co/blog/nvidia/cosmos-h-dreams#5-what-is-next-toward-closed-loop-surgical-physical-ai)
• 6. 立即开始 (https://huggingface.co/blog/nvidia/cosmos-h-dreams#6-get-started-today)

手术机器人正快速从远程操作向能力不断增强的视觉-语言-动作策略演进。然而，评估和训练这些系统仍面临困难。物理机器人平台运行成本高昂，实验难以快速复现，且失败可能导致器械或生物材料损坏。传统模拟器提供了一种更安全的替代方案，但手术场景极其难以建模：可变形组织、精细的器械交互、镜面表面、缝线、针、烟雾和遮挡，这些都是关键因素。

世界基础模型提供了一条不同的路径。它们无需手动建模每个物体和物理交互，而是直接从同步的视频和机器人运动学中学习视觉动态。NVIDIA的Cosmos-H-Surgical-Simulator (https://huggingface.co/nvidia/Cosmos-H-Surgical-Simulator)展示了这一方法，它能够根据初始场景和一系列机器人动作生成未来的手术视频。这实现了比物理评估更快的评估，并在Open-H-Embodiment (https://huggingface.co/datasets/nvidia/PhysicalAI-Robotics-Open-H-Embodiment)生态系统中生成了合成数据。

今天，我们推出下一步：Cosmos-H-Dreams (https://github.com/isaac-for-healthcare/Cosmos-H-Dreams)，一个用于手术机器人的实时、动作条件化生成式模拟器。Cosmos-H-Dreams将Cosmos-H-Surgical-Simulator的能力蒸馏成一个因果性、少步学生模型，并通过NVIDIA的加速流式推理库FlashDreams (https://github.com/NVIDIA/flashdreams)提供服务。在单个NVIDIA RTX PRO 6000 GPU上运行，结果是创建一个可供人或学习策略在闭环中控制的交互式环境。

https://huggingface.co/blog/nvidia/cosmos-h-dreams#1-from-surgical-world-model-to-interactive-simulator1. 从手术世界模型到交互式模拟器

Cosmos-H-Surgical-Simulator (https://huggingface.co/nvidia/Cosmos-H-Surgical-Simulator)是一个基于NVIDIA Cosmos-Predict2.5-2B (https://huggingface.co/nvidia/Cosmos-Predict2.5-2B)构建、并在Open-H-Embodiment (https://huggingface.co/datasets/nvidia/PhysicalAI-Robotics-Open-H-Embodiment)数据集上进行后训练的动作条件化世界基础模型。给定一个手术上下文帧和未来的机器人轨迹，它能生成视频，展示这些动作可能产生的视觉后果。这使得该模型对于离线策略评估和合成数据生成非常有用。记录或策略生成的轨迹可以发送给模型，生成相应的展开结果，而无需在物理机器人上重复执行动作即可进行检查或评分。

Cosmos-H-Dreams将模型带入了实时领域。从Cosmos-H-Surgical-Simulator学习到的多具身手术先验出发，我们专门针对da Vinci Research Kit (dVRK)桌面缝合任务进行模型特化，并将其蒸馏成一个因果学生模型，该模型自回归地生成场景。发布的模型接收初始RGB帧和实时机器人运动学数据流，然后生成下一块帧，再继续处理随后的动作块。

我们还通过与CMR Surgical和Cambridge Consultants的合作，将Cosmos-H-Dreams集成到Versius手术控制器中，实现了在Versius平台上的实时操作，展示了其多功能性。

https://huggingface.co/blog/nvidia/cosmos-h-dreams#2-distilling-cosmos-h-surgical-simulator-for-real-time2. 为实时进行Cosmos-H-Surgical-Simulator蒸馏

关键挑战是在降低生成成本的同时保留有用的手术动态。Cosmos-H-Dreams采用了一个教师到学生的训练流程，专为长时间的自回归展开而设计。

https://huggingface.co/blog/nvidia/cosmos-h-dreams#21-a-surgical-teacher2.1. 手术教师模型

双向教师模型从Cosmos-H-Surgical-Simulator的Open-H检查点开始，该检查点使用统一的44维动作表示。对于发布的dVRK桌面模型，双机械臂dVRK的动作内容（包括相对末端执行器平移、旋转和夹爪状态）被映射到这个通用表示中。

然后，教师模型在JHU dVRK桌面混合数据集上进行微调，其中包括成功演示以及失败和分布外样本（如掉针、未接住、打结失败等）。这些失败案例很重要：旨在评估策略的模拟器必须能够再现不良动作的后果，而不仅仅是理想演示。

为了提高长时间展开的稳定性，训练过程逐步增加教师模型的时间范围。我们从12帧范围开始训练，逐步增加至72帧。每次增加范围时，我们使用预训练权重初始化预热后的模型。

https://huggingface.co/blog/nvidia/cosmos-h-dreams#22-causal-warmup2.2. 因果预热

首先预计算并缓存教师模型的去噪轨迹。从教师模型初始化一个因果学生，并训练它模仿这些缓存轨迹。这个预热阶段教会学生模型使用因果注意力和流式键/值缓存，然后它才开始从自己生成的历史中学习。

https://huggingface.co/blog/nvidia/cosmos-h-dreams#23-self-forcing-distillation2.3. 自强制蒸馏

自回归模型面临一个常见问题：训练期间它们可能看到干净的、真实上下文，而部署期间则必须基于自身不完美的输出进行条件化。因此，小误差会随时间累积。

Cosmos-H-Dreams通过自强制蒸馏 (https://arxiv.org/abs/2506.08009)解决了这种不匹配。训练期间，学生模型使用自己生成的上下文向前展开。来自冻结教师模型的分布匹配监督则引导这些自生成的展开结果朝向真实的手术视频。这为学生模型在交互式推理期间将遇到的相同条件做好准备。

由此产生的模型支持少步扩散，每个潜在帧只需少至两个去噪步骤，而非完整教师模型使用的多步过程。它结合了教师模型的手术先验和流式所需的因果结构。

https://huggingface.co/blog/nvidia/cosmos-h-dreams#3-flashdreams-the-real-time-inference-engine3. FlashDreams：实时推理引擎

模型蒸馏只是实时故事的一部分。Cosmos-H-Dreams通过FlashDreams (https://github.com/NVIDIA/flashdreams)提供服务，这是一个用于自回归世界和视频模型的加速推理库。

FlashDreams通过多项互补优化，将蒸馏后的学生模型转变为低延迟流式系统，例如流式KV缓存、CUDA Graph捕获、模型编译等。

这些技术结合起来，将标准Cosmos-H-Surgical-Simulator推理时大约每秒十帧的蒸馏后手术世界模型微调，提升到了单张NVIDIA RTX PRO 6000上的交互式操作（约每秒160帧）。

Cosmos-H-Dreams还提供了将生成转变为交互的人机接口。浏览器客户端可以发送键盘命令并通过WebRTC接收生成的帧。Meta Quest客户端可以将追踪的控制器运动映射为机器人动作，并通过WebXR显示合成的场景。同一个模型还可以连接到学习到的外科策略，在闭环内交换生成的观测和预测的动作。

https://huggingface.co/blog/nvidia/cosmos-h-dreams#4-adapting-to-your-own-data4. 适配你自己的数据

虽然Cosmos-H-Dreams包含一个针对桌面缝合任务的预训练检查点，但该系统设计为可扩展到你的具体具身。要针对你自己的数据集训练一个实时学生模型，我们在我们的分步指南 (https://github.com/NVIDIA-Medtech/Cosmos-H-Surgical-Simulator/blob/main/docs/tutorial_teacher_training_and_self_forcing.md)中提供了完整的教师微调和自强制蒸馏方案。

https://huggingface.co/blog/nvidia/cosmos-h-dreams#5-what-is-next-toward-closed-loop-surgical-physical-ai5. 下一步：迈向闭环手术物理AI

Cosmos-H-Dreams为手术模拟开辟了一个新领域：从真实机器人数据中学习的、响应性足够高以至于可以被“居住”的环境。

接下来的直接步骤是评估不仅仅是视觉质量。一个有用的手术模拟器必须正确响应动作，在长时间展开中保持器械和场景结构，并支持可转移到物理机器人的结论。这催生了一系列新的闭环基准：器械尖端到达和姿态精度、夹爪周期保真度、空闲稳定性、反事实动作多样性、长视野漂移，以及模拟与真实策略输出之间的一致性。

实时世界模型还可以成为外科策略开发的活跃伙伴。它们可以按需生成罕见的失败，为强化学习或模仿学习提供可扩展的环境，并使新策略的快速评估成为可能，无需将每个实验都绑定到稀缺的机器人硬件上。

更进一步，实时模拟开启了一系列下游应用，例如延迟感知的远程手术（其中世界模型帮助维持更稳定的显示），或交互式手术排练、手术规划以及术中决策支持。Cosmos-H-Dreams是一个研发平台，并非诊断系统、术中成像替代品或物理手术机器人的控制器。然而，它为安全探索这些可能性提供了基础。

随着模型保真度、时间稳定性和硬件效率的持续提升，实时生成式模拟可以有助于将外科医生教育、合成数据生成、策略训练和策略评估连接在同一个共享的Physical AI环境中。

https://huggingface.co/blog/nvidia/cosmos-h-dreams#6-get-started-today6. 立即开始

探索Cosmos-H-Dreams背后的模型、数据和运行时：

• **Cosmos-H-Dreams代码和示例：**GitHub仓库 (https://github.com/isaac-for-healthcare/Cosmos-H-Dreams)
• **Cosmos-H-Dreams模型：**Hugging Face检查点 (https://huggingface.co/nvidia/Cosmos-H-Dreams)
• **Cosmos-H-Surgical-Simulator：**Hugging Face模型 (https://huggingface.co/nvidia/Cosmos-H-Surgical-Simulator)和GitHub仓库 (https://github.com/NVIDIA-Medtech/Cosmos-H-Surgical-Simulator)
• **适配你自己的数据：**教师微调和自强制蒸馏的分步方案 (https://github.com/NVIDIA-Medtech/Cosmos-H-Surgical-Simulator/blob/main/docs/tutorial_teacher_training_and_self_forcing.md)
• **Open-H-Embodiment：**Hugging Face数据集 (https://huggingface.co/datasets/nvidia/PhysicalAI-Robotics-Open-H-Embodiment)
• **FlashDreams：**GitHub仓库 (https://github.com/NVIDIA/flashdreams)
• **NVIDIA Cosmos-Predict2.5：**GitHub仓库 (https://github.com/nvidia-cosmos/cosmos-predict2.5)
• **Cosmos-Surg-dVRK：**基于世界基础模型的自动在线评估手术机器人策略学习 (arXiv论文 (https://arxiv.org/abs/2510.16240))

Cosmos-H-Dreams将动作条件化手术世界建模引入实时循环，为人和策略创建了一个新的环境，以供练习、探索、生成数据并评估接下来会发生什么。