标签
Surg-UniWorld 是一个具有多模态控制专家的统一手术世界模型,支持利用边缘、深度和光流输入可控地生成连贯的器械-组织交互视频。它引入了一个新基准(Cholec80-SurgWAM),并且优于现有的可控视频生成方法。
介绍了外观指针,这是一种紧凑的标记,能够引导扩散变换器在指定空间位置应用正确的外观提示,从而无需重新训练基础模型即可实现模态无关的局部多模态控制。