NVIDIA 开源首个 GPU 加速的医学物理仿真框架

NVIDIA Blog 工具

摘要

NVIDIA 开源了其首个 GPU 加速的医学物理仿真框架,这是 Isaac for Healthcare 中的一个工具,可帮助医疗机器人开发者模拟解剖-设备交互、生成罕见场景,并在仿真中训练机器人策略,将训练时间从数小时大幅缩短至数分钟。

<div id="bsf_rt_marker"></div><p><span style="font-weight: 400;">在医疗机器人应用于现实世界之前,它必须先学会物理世界的反作用力。人体解剖结构千变万化。器械会弯曲、按压、滑移并与组织相互作用。医学影像可能伴有噪声或不完整。而开发者最需要研究的那些罕见边缘场景并不会按计划出现。</span></p> <p><span style="font-weight: 400;">这造成了医疗机器人领域最大的瓶颈之一:获取开发者所需的海量多样化数据来训练、测试和优化机器人行为。</span></p> <p><span style="font-weight: 400;">NVIDIA 医学物理仿真框架(Medical Physics Simulation framework)——NVIDIA Isaac for Healthcare 中一项全新开源的 GPU 加速能力——今日宣布推出,可帮助医疗机器人开发者模拟解剖-设备交互、生成难以捕捉的场景、进行计算机模拟测试,并在进行硬件密集型测试之前训练或评估机器人策略。</span></p> <p><span style="font-weight: 400;">该框架将解剖结构与医疗设备行为、传感器仿真以及机器人学习相结合,使团队能够创建可复用的仿真环境,而无需为每个工作流重新构建定制场景,从而节省开发时间,并更快地将创新成果推向市场。</span></p> <p><span style="font-weight: 400;">由于医学物理仿真是开源的,医疗机器人开发者可以检查框架、根据自身设备和流程进行适配,并构建在 GPU 加速的基础之上,与更广泛的 NVIDIA 技术栈无缝协作。</span></p> <p><span style="font-weight: 400;">开源在医疗领域尤为重要,因为团队需要透明的数据、模型和权重,以理解系统行为。访问开源模型和模型权重有助于开发者复现结果、评估在不同解剖结构和场景下的性能、识别局限性,并为监管审查积累证据。</span></p> <h2><strong>医疗机器人的虚拟训练场</strong></h2> <p><span style="font-weight: 400;">对于 </span><a target="_blank" href="https://www.nvidia.com/en-us/glossary/generative-physical-ai/"><span style="font-weight: 400;">物理 AI</span></a><span style="font-weight: 400;"> 而言,经验就是流动的数据。开发者需要训练机器人即使在解剖结构变化、器械行为差异、条件变化或策略意外失效时也能正常运作。</span></p> <p><span style="font-weight: 400;">医学物理仿真框架帮助开发者模拟解剖结构、器械接触、摩擦和传感器输入,然后通过各种交互和环境进行测试,以评估机器人如何应对这些变化。该框架由 NVIDIA CUDA 提供支持,是 Isaac for Healthcare 的一部分——构建于 NVIDIA Warp、Newton 和 Cosmos 仿真及生成式 AI 技术之上——能够并行运行数百个仿真环境,帮助团队探索更多场景,并在开发早期识别故障模式。</span></p> <p><span style="font-weight: 400;">对于机器人构建者而言,这使仿真从定制化工程项目转变为可复用的基础设施。现在的区别在于规模:</span><a target="_blank" href="https://arxiv.org/abs/2503.18616"><span style="font-weight: 400;">基准测试</span></a><span style="font-weight: 400;">显示,利用 GPU 原生仿真并行运行 8,192 个机器人训练环境,可将训练时间从超过五小时缩短至不到两分钟。</span></p> <p><span style="font-weight: 400;">借助该框架,开发者可以整合血管解剖结构、柔性器械(如导管和导丝)、模拟 X 射线成像和强化学习。该框架设计为可扩展至更多器械、解剖结构、传感器和医疗机器人领域。</span><span style="font-weight: 400;"><br /> </span></p> <p><span style="font-weight: 400;">医学物理仿真融合了经典物理仿真和生成式 AI 物理仿真。经典仿真用于模拟已知物理规则,如器械接触、摩擦和运动。<a target="_blank" href="https://github.com/isaac-for-healthcare/Cosmos-H-Dreams">NVIDIA Cosmos-H Dreams</a>(医学物理仿真中的实时生成式 AI 物理仿真能力)则用于模拟从程序化数据中学到的视觉场景动态。</span></p> <p><span style="font-weight: 400;">两者结合,为开发者提供了更丰富的途径,使其能够在虚拟环境中构建和测试医疗机器人系统,然后再转向物理原型和实验室测试。</span></p> <h2><strong>构建医疗机器人未来的生态系统</strong></h2> <p><span style="font-weight: 400;">医疗机器人领域的领导者们已经在应用仿真驱动开发来解决特定的外科挑战。</span></p> <p>CMR Surgical <span style="font-weight: 400;">和</span> Cambridge Consultants(Capgemini 旗下)<span style="font-weight: 400;">正在使用</span><span style="font-weight: 400;"> Cosmos-H-Dreams</span> <span style="font-weight: 400;">以隐式学习软组织手术中的交互物理特性,并生成患者特定的仿真。CMR 贡献了近 500 小时来自其 Versius 手术机器人系统的匿名临床数据给 Open-H Embodiment 开放数据集,涵盖了胆囊切除术、前列腺切除术、疝修补术和子宫切除术等手术。</span></p> <p><span style="font-weight: 400;">“开源模型使我们能够在共享知识的基础上发展,加速负责任的创新,并最终有可能为全球患者提供更一致的护理和更好的治疗结果。”CMR Surgical 首席技术官 Chris Fryer 表示。</span></p> <p>Johnson &amp; Johnson MedTech<span style="font-weight: 400;"> 正在使用 Isaac for Healthcare 的医学物理仿真和基于 Cosmos 的基础模型</span><span style="font-weight: 400;">,为其腔内泌尿外科 MONARCH 平台构建数字孪生,模拟复杂的解剖结构和肾结石场景。</span><span style="font-weight: 400;"><br /> </span><span style="font-weight: 400;"><br /> </span>XCath<span style="font-weight: 400;"> 正在利用医学物理仿真进行血管内自主控制策略训练。</span> Inner Logic <span style="font-weight: 400;">正在通过合成数据加速医疗技术的发展,验证器械力学性能,并利用 NVIDIA 医学物理仿真生成计算机模拟证据以支持监管审批流程。</span></p> <p>Medtronic Structural Heart<span style="font-weight: 400;"> 正在探索应用医学物理仿真,结合模拟 X 射线感应来生成导管导航研究的数据。</span></p> <h2><strong>Isaac for Healthcare 技术栈中的新层级</strong></h2> <p><span style="font-weight: 400;">作为 NVIDIA Isaac for Healthcare 中的一个模块化能力,医学物理仿真可以单独使用,也可以与数字孪生管线、医疗传感器仿真、NVIDIA Isaac Lab 开源机器人学习框架以及 NVIDIA 开源模型和策略协同使用。</span></p> <p><i><span style="font-weight: 400;">开发者可以探索开源的 </span></i><a target="_blank" href="https://isaac-for-healthcare.github.io/medical-physics-simulation/"><i><span style="font-weight: 400;">医学物理仿真框架</span></i></a><i><span style="font-weight: 400;">,查看可用的参考工作流,并开始为自身设备、解剖结构和医疗机器人应用构建仿真环境。</span></i></p>
查看原文
查看缓存全文

缓存时间: 2026/07/22 14:19

# NVIDIA 开源首个GPU加速医学物理模拟框架 来源:https://blogs.nvidia.com/blog/medical-physics-simulation-open-source/ 在医疗机器人真正应用于现实世界之前,它必须学会物理世界的反作用力。解剖结构因人而异,器械会弯曲、按压、滑移并与组织互动。成像可能带有噪声或不完整。而开发者最需要理解的罕见边缘场景,并不会按计划出现。 这就造成了医疗机器人领域的最大瓶颈之一:获取大量多样化数据,供开发者训练、测试和改进机器人行为。 今天宣布的 NVIDIA Medical Physics Simulation 框架——NVIDIA Isaac for Healthcare 中新增的开源、GPU 加速功能——可帮助医疗机器人开发者模拟解剖结构与器械的相互作用,生成难以捕获的场景,进行计算机模拟测试,并在进入硬件密集型测试之前训练或评估机器人策略。 该框架将解剖学与医疗设备行为、传感器模拟和机器人学习融为一体,使团队能够创建可复用的仿真环境,而非为每个工作流重建定制场景,从而为开发者节省时间,更快地将创新推向市场。 由于 Medical Physics Simulation 是开源的,医疗机器人开发者可以审查框架、根据自身设备和流程进行调整,并构建在 GPU 加速基础之上,与更广泛的 NVIDIA 技术栈无缝协作。 开源在医疗领域尤其重要,因为团队需要对影响系统行为的数据、模型和权重保持透明。开放模型和模型权重的访问,有助于开发者复现结果、评估不同解剖结构和场景下的性能、识别局限性,并为监管审查构建证据。 ## 医疗机器人的虚拟训练场 对于物理 AI(https://www.nvidia.com/en-us/glossary/generative-physical-ai/)而言,经验就是运动中的数据。开发者需要训练机器人,使其在解剖结构变化、设备行为不同、条件改变或策略意外失败时仍能正常运作。 Medical Physics Simulation 帮助开发者模拟解剖结构、器械接触、摩擦和传感器输入,然后在交互和环境测试中评估机器人应对这些变化的表现。该框架由 NVIDIA CUDA 提供支持,是 Isaac for Healthcare 的一部分——基于 NVIDIA Warp、Newton 和 Cosmos 仿真及生成式 AI 技术——能够并行运行数百个仿真环境,帮助团队在早期开发阶段探索更多场景并识别故障模式。 对于机器人构建者而言,这将仿真从定制化的工程项目转变为可复用的基础设施。现在的区别在于规模:基准测试(https://arxiv.org/abs/2503.18616)显示,8,192 个机器人训练环境并行运行,GPU 原生仿真将训练时间从超过五小时缩短到不到两分钟。 借助该框架,开发者可以连接血管解剖结构、导管和导丝等柔性器械、模拟 X 射线成像和强化学习。该框架设计为可扩展至更多设备、解剖结构、传感器和医疗机器人领域。 Medical Physics Simulation 融合了经典物理仿真和生成式 AI 物理仿真。经典仿真有助于模拟已知的物理规则,如器械接触、摩擦和运动。NVIDIA Cosmos-H Dreams(https://github.com/isaac-for-healthcare/Cosmos-H-Dreams)是该框架内实时的生成式 AI 物理仿真能力,有助于模拟从程序化数据中学习到的视觉场景动态。 两者结合,为开发者提供了一种更丰富的方式,在虚拟环境中构建和测试医疗机器人系统,然后再转向物理原型和实验室测试。 ## 构建医疗机器人未来的生态系统 医疗机器人领域的领导者已经在应用仿真驱动开发来解决特定的外科挑战。 CMR Surgical 和 Capgemini 旗下的 Cambridge Consultants 正在使用 Cosmos-H-Dreams 隐式学习软组织手术的交互物理,并生成患者特定仿真。CMR 已从其 Versius 手术机器人系统中贡献了近 500 小时的匿名临床数据到 Open-H Embodiment 开放数据集,惠及胆囊切除术、前列腺切除术、疝修补术和子宫切除术等手术。 "开源模型使我们能够在共享知识的基础上进行构建,加速负责任的创新,并最终为全球患者带来更一致的护理和更好的结果。"CMR Surgical 首席技术官 Chris Fryer 表示。 强生医疗科技(Johnson & Johnson MedTech)正在使用 Isaac for Healthcare 的 Medical Physics Simulation 和基于 Cosmos 的基础模型,为其腔内泌尿外科学 MONARCH 平台构建数字孪生,模拟复杂解剖结构和肾结石场景。XCath 正在使用 Medical Physics Simulation 进行血管内自主策略训练。Inner Logic 正在利用合成数据加速医疗技术发展,验证器械力学,并通过 NVIDIA Medical Physics Simulation 生成计算机模拟证据以支持监管路径。 美敦力结构性心脏业务(Medtronic Structural Heart)正在探索将 Medical Physics Simulation 与模拟 X 射线传感相结合,生成导管导航研究的数据。 ## Isaac for Healthcare 技术栈的新层次 作为 NVIDIA Isaac for Healthcare 中的模块化能力,Medical Physics Simulation 既可以独立使用,也可以与数字孪生管线、医疗传感器模拟、NVIDIA Isaac Lab 开放机器人学习框架以及 NVIDIA 开放模型和策略配合使用。 *开发者可以探索开源的**Medical Physics Simulation 框架**(https://isaac-for-healthcare.github.io/medical-physics-simulation/),查看可用的参考工作流,并开始为自己的设备、解剖结构和医疗机器人应用构建仿真环境。*

相似文章

NVIDIA Cosmos-H-Dreams:将实时生成式模拟引入手术机器人

Hugging Face Blog

NVIDIA推出Cosmos-H-Dreams,这是一个实时动作条件生成式模拟器,专为手术机器人设计,是从更大的Cosmos-H-Surgical-Simulator中提炼而来。它使用FlashDreams推理库,在单张RTX PRO 6000 GPU上运行,支持用于训练和评估的交互式闭环控制。