NVIDIA Cosmos3-H-Dreams：通过生成式仿真让临床手术栩栩如生

来源：https://huggingface.co/blog/nvidia/cosmos3-h-dreams

想象一下：在生成的手术场景中移动 Cadiere 抓钳、夹住胆囊并将其提起，整个过程实时响应。今天，我们迈出下一步，推出 Cosmos3-H-Dreams——将交互式生成式仿真的能力带入临床手术的视觉与流程复杂度之中，并呈现出我们迄今最逼真的人体内影像。

我们的首个 Cosmos-H-Dreams（https://huggingface.co/blog/nvidia/cosmos-h-dreams）版本基于 Cosmos-Predict2.5 构建，将交互式生成式仿真引入了 dVRK 桌面缝合任务——这是手术机器人领域的基础性验证场景。作为世界基础模型（WFM），Cosmos-H-Dreams 展示了一种替代数值仿真的路径：它不显式建模场景几何、组织形变与物理交互，而是直接从同步的视频和机器人运动学数据中学习视觉动态，从而实现了高真实感的交互式桌面任务仿真。

今天，Cosmos3-H-Dreams（https://github.com/isaac-for-healthcare/cosmos3-h-dreams）通过在 CMR Surgical Versius 平台上临床手术过程中录制的视频和机器人运动学数据进行学习，进一步推进了这一能力。据我们所知，这是首个基于临床胆囊切除术记录训练、支持实时运动学控制的实时生成式手术仿真器。Cosmos3-H-Dreams 由 Cosmos 3 驱动，并借助 NVIDIA 加速流式推理库 FlashDreams 加速，可在单张 NVIDIA RTX PRO 6000 GPU 上交互式运行。

1. 从桌面任务到临床场景

在 Cosmos-H-Dreams 那样的受控桌面环境中，器械操作的背景相对简单。然而在人体内部，器械的微小动作就可能影响整个场景：组织在牵引下被拉伸、反光发生偏移、结构被遮挡、烟雾改变可见度。给定初始图像和输入的器械动作，生成式仿真器必须捕捉这些响应，同时在生成每一段新视频时保持解剖结构和器械的外观不变。微小误差会随时间累积，逐渐改变器械几何或解剖结构，因此时间一致性至关重要。

视觉真实感因此只是验证的起点，而非生物力学准确性的证明。生成的场景还必须遵循控制指令：平移、旋转和夹爪命令应当产生连贯的解剖学后果。一个看起来合理但忽略这些指令的生成结果，无法作为交互式环境使用。

要在实时控制回路中维持这种保真度和响应性，需要低延迟生成。Cosmos3-H-Dreams 通过一个专门针对临床胆囊切除术、并为实时生成而蒸馏的模型来应对这一场景，将动作条件下的交互引入具有复杂解剖结构、组织运动和遮挡的场景中。

2. Cosmos3-H-Dreams 有哪些新特性？

2.1 基于 Cosmos 3 基座与更丰富的手术控制

Cosmos3-H-Dreams 构建于 Cosmos3-H-Embodied-Nano（https://huggingface.co/nvidia/Cosmos3-H-Embodied-Nano）之上——这是一个在 Open-H-Embodiment（https://huggingface.co/datasets/nvidia/PhysicalAI-Robotics-Open-H-Embodiment）上预训练的 160 亿参数模型——并在精选的胆囊切除术视频与运动学数据上对一个双向教师模型进行特化训练。样本筛选以两把可见且正在使用的器械为目标：左侧 Cadiere 抓钳和右侧单极电钩，并将相机指令限制在强调器械驱动的交互上。

模型使用 28 个动作维度：双臂的位姿与夹爪信息，外加能量控制、摇杆轴和摇杆按键。训练使用 832 × 480 分辨率的视频，动作以 10 Hz 对齐；该采样率与运行时的生成吞吐量是不同的概念。

2.2 从教师模型到四步与两步学生模型

Cosmos3-H-Dreams 结合了两条线：一条是为长自回归展开设计的教师到学生的训练管线，另一条是通过 FlashDreams 实现的加速流式推理。

我们首先在 24 个未来帧上适配双向教师模型，然后将时间跨度扩展到 72 帧（在 10 Hz 下即 2.4 秒和 7.2 秒）。这让教师模型能在更长的序列上学习手术动态。

接下来，蒸馏将双向教师模型转化为因果学生模型，使其能够在新动作到来时以短块方式生成视频。因果教师强制（causal teacher forcing）利用录制的上下文，为学生模型的顺序生成做好准备。随后，Self-Forcing 让学生模型在教师模型和一个学习到的判别器（critic）的指导下，使用自身生成的上下文进行训练。这有助于缓解交互式展开过程中的误差累积问题。

首个发布的学生模型在每个生成块中使用四步去噪。随后我们以两步调度对该学生模型进一步训练，得到第二个发布检查点。两步模型是单独训练的，并非简单地用更少采样步数运行四步模型。

更少的去噪步数意味着更快的推理时间，代价是视觉质量下降。两个检查点让开发者可以自行探索视觉质量与推理成本之间的平衡。

2.3 通过 FlashDreams 实现流式生成

FlashDreams（https://github.com/NVIDIA/flashdreams）提供加速的流式运行时。长时间展开还需要管理模型的注意力历史。Cosmos3-H-Dreams 的集成使用了一个改造的 FadeMem 模块，在长时间展开过程中整合不断增长的键值缓存。这与 Self-Forcing 互补：蒸馏解决的是模型如何从自身生成历史中学习，而缓存整合解决的是在流式生成过程中如何存储这段历史。

3. 探索未见过的轨迹

在临床手术过程中可能出现并发症，或者外科医生可能执行一些“新颖“的动作。因此，仿真器必须能够泛化到训练数据之外，生成包含未见动作的连贯帧。以下演示展示了 Cosmos3-H-Dreams 如何基于用 VR 头显录制的器械动作，生成不同的胆囊切除术场景。

两段视频起始于同一初始帧，但遵循不同的动作序列，说明了器械控制如何引导同一场景产生截然不同的延续，并伴随着物理上准确的组织形变。

此外，这些展开结果让我们能够检查器械是否遵循控制指令、组织对交互的响应是否连贯，以及解剖结构和器械外观是否随时间保持一致。

4. 适配你自己的数据与控制器

Cosmos3-H-Dreams 包含针对胆囊切除术的四步和两步检查点。该系统可以适配到其他数据集和具身形态，只要具备同步的视频和兼容的动作表示。为了在你自己的数据集上训练实时学生模型，我们在分步指南（https://github.com/NVIDIA-Medtech/Cosmos3-H-Embodied-Nano/blob/main/cosmos3_h_embodied/tutorial_teacher_training_and_self_forcing.md）中提供了完整的教师微调和 Self-Forcing 蒸馏流程，涵盖数据准备、公开的教师训练工具以及蒸馏阶段。控制器集成必须使用与训练相同动作约定和归一化方式。

5. 下一步计划

视觉真实感的提升开启了多个研究方向：

• **建模完整手术流程。**扩展覆盖范围和时间一致性，使胆囊切除术的所有阶段都能被系统性探索，并有明确的任务边界和成功标准。
• **连接生成式与数值仿真。**将学到的视觉真实感与显式几何、接触和组织力学相结合。数值模型和实测数据有助于约束和验证形变，使仿真行为不仅令人信服，而且可被检查。
• **与外科医生进行评估。**评估解剖准确性、器械行为和组织响应，将专家反馈转化为可复现的基准测试。
• **支持更多器械。**从两个受控工具扩展到更丰富的协调、遮挡和交互。
• **开发自主手术策略。**将世界动作模型与 Cosmos3-H-Dreams 闭环耦合，使策略能够学习明确的胆囊切除术子任务。

这些是研究方向，而非已确立的临床能力。Cosmos3-H-Dreams 是一个研究用仿真器，而非经过验证的患者护理系统。它为在日益逼真的环境中研究手术交互提供了基础。

6. 立即开始

探索 Cosmos3-H-Dreams 背后的模型、数据和运行时：

• Cosmos3-H-Dreams 代码与示例：GitHub 仓库（https://github.com/isaac-for-healthcare/cosmos3-h-dreams）
• Cosmos3-H-Dreams 模型：Hugging Face 检查点（https://huggingface.co/nvidia/Cosmos3-H-Dreams）
• Cosmos3-H-Embodied-Nano：Hugging Face 模型（https://huggingface.co/nvidia/Cosmos3-H-Embodied-Nano）和 GitHub 仓库（https://github.com/NVIDIA-Medtech/Cosmos3-H-Embodied-Nano）
• 适配你自己的数据：教师微调与 Self-Forcing 蒸馏的分步指南（https://github.com/NVIDIA-Medtech/Cosmos3-H-Embodied-Nano/blob/main/cosmos3_h_embodied/tutorial_teacher_training_and_self_forcing.md）
• Open-H-Embodiment：Hugging Face 数据集（https://huggingface.co/datasets/nvidia/PhysicalAI-Robotics-Open-H-Embodiment）
• FlashDreams：GitHub 仓库（https://github.com/NVIDIA/flashdreams）
• NVIDIA Cosmos 3：GitHub 仓库（https://github.com/nvidia/cosmos）

带上你的控制器、你的轨迹和你的研究问题。我们期待看到社区在这些全新的手术世界中构建出什么。