SurgLAT：深度感知机器人腹腔镜控制的潜在外科注意力跟踪

# SurgLAT：面向深度感知机器人腹腔镜控制的手术潜在注意力跟踪

来源：https://arxiv.org/html/2608.07876

Qiujie Song（宋秋杰）, Yujie Ma（马玉洁）, An Wang（王安）, Wanhao Liu（刘万豪）, Guoheng Ma（马国恒）, Yidu Wang（王一都）, Guankun Wang（王冠坤）, Xingrong Diao（刁兴荣）, Jiankun Wang（王建坤）, Chaowei Zhu（朱超伟）, Xianming Liu（刘显明）, and Hongliang Ren（任洪亮）

R. Zhou, Q. Song, A. Wang, W. Liu, Y. Wang, G. Wang, and H. Ren 就职于香港中文大学电子工程系，香港特别行政区 999077，以及深圳湾实验室，深圳 518055，中国（电子邮箱：[email protected]; [email protected]）。
Y. Ma 就职于深圳大学机电与控制工程学院，深圳 518060，中国。
G. Ma, X. Diao, and J. Wang 就职于南方科技大学电子与电气工程系，深圳 518055，中国。
C. Zhu and X. Liu 就职于深圳市人民医院，深圳 518020，中国。

###### 摘要

自主腹腔镜相机控制需要持续理解外科医生在动态手术场景中的操作意图，其中目标手术区域并非一个稳定的物理对象，而是一种潜在的、随时间演变的注意力状态。在本工作中，我们提出了 Surgical Latent Attention Tracking（SurgLAT），一种用于潜在手术注意力建模和自主腹腔镜视野控制的因果在线框架。SurgLAT 使用冻结的 DINOv3 编码器和状态条件化空间 token 混合器，在记忆引导的空间先验下提取手术证据，同时通过选择性因果潜在记忆模块，动态检索当前、近期和历史潜在状态，联合建模短期运动连续性和长期手术意图演变。学习到的潜在手术注意力状态被解码为概率注意力热图及手术区域，用于下游内窥镜引导。在感知之外，我们进一步引入了一种基于虚拟轴公式的、具有显式腹腔镜远程运动中心（RCM）约束控制的机器人部署框架，以及用于稳定平滑机械臂运动的冗余感知零空间初始化。我们在真实腹腔镜手术视频和一个物理机器人腹腔镜平台上验证了整个系统。实验结果表明，在遮挡、快速运动和手术目标转换的情况下，该系统能够实现鲁棒的在线手术区域跟踪和稳定的自主内窥镜调整，突显了潜在手术意图建模在手术自主性中的有效性。代码和视频演示可在 https://surglat-home-page.pages.dev/ 获取。

\{IEEEkeywords\}

手术注意力跟踪，自主腹腔镜控制，基于视觉的手术机器人

## 1 引言

参见图注

图1：所提出的从感知到控制的流水线概览：使用体内手术视频来学习手术注意力和深度感知尺度估计，并将其转换为任务空间目标\(x,y,D\)，用于体外的机器人腹腔镜自动控制。

微创手术（MIS）已成为现代外科实践中的标准范式，与开放手术相比，它具有创伤更小、恢复更快、患者预后更好等优势[7 (https://arxiv.org/html/2608.07876#bib.bib1),3 (https://arxiv.org/html/2608.07876#bib.bib2)]。在腹腔镜手术中，内窥镜视频流是外科医生感知手术区域的主要界面，因此稳定且具有临床意义的视野（FoV）对于安全操作和高效手术流程至关重要。然而，传统的腹腔镜定位通常由助手根据口头指令执行，这容易受到沟通延迟、疲劳、手部震颤和不一致视角调整的影响[20 (https://arxiv.org/html/2608.07876#bib.bib3),28 (https://arxiv.org/html/2608.07876#bib.bib4)]。这些局限性可能导致图像不稳定、关键解剖结构丢失以及手术流程中断，从而激发了人们对自主机器人腹腔镜控制的日益浓厚的兴趣。

现有的视野控制方法主要依赖于显式的人类命令或自动图像引导策略。基于语音、注视、头部运动或脚踏板的接口允许直接调节相机，但仍会给外科医生带来额外的认知和操作负担[5 (https://arxiv.org/html/2608.07876#bib.bib5)]。自动方法通常使用手工制作的视觉代理来定义期望的相机目标，例如器械质心、器械分布或视觉伺服目标[21 (https://arxiv.org/html/2608.07876#bib.bib7),31 (https://arxiv.org/html/2608.07876#bib.bib8),8 (https://arxiv.org/html/2608.07876#bib.bib13)]。虽然对于基本的器械跟随场景有效，但这些几何目标并不直接捕捉与任务相关的手术焦点，而手术焦点可能对应于器械-组织交互、解剖边界、缝合区域或检查区域。最近基于学习的研究试图推断意图感知的视角，SurgAtt-Tracker[35 (https://arxiv.org/html/2608.07876#bib.bib12)]进一步将在线手术注意力跟踪形式化为带有专家标注的手术注意力区域。然而，现有的注意力引导方法仍然主要局限于2D定位或图像平面重新居中，而没有将手术注意力明确建模为因果潜在状态，也没有将其转换为物理上可行的机器人腹腔镜运动。

学习用于自主腹腔镜控制的手术注意力仍然具有挑战性。手术注意力并不是一种显式的对象类别，而是一种由手术阶段、器械-组织交互和解剖背景共同塑造的潜在操作意图。同时，腹腔镜视频经常受到烟雾、镜面高光、出血、组织变形、器械遮挡和快速相机运动的影响，这使得逐帧预测不稳定。手术焦点也随着时间连续性和突然转变而演变：它应在持续操作中保持稳定，但当外科医生更换器械或改变目标区域时又需要快速适应。此外，自主腹腔镜控制需要准确且时间上稳定的视觉目标，这些目标需要能够在以套管针为中心的远程运动中心（RCM）约束下转化为物理上可行的机器人运动。

为应对这些挑战，我们引入了 Surgical Latent Attention Tracking（SurgLAT），一个用于自主腹腔镜视野控制的感知-控制框架。给定流式内窥镜视频，SurgLAT 将手术注意力建模为一种因果潜在手术状态，而不是器械跟随点或通用对象框。该潜在状态被解码为概率注意力热图，并从中推导出注意力中心和以注意力为中心的手术区域，用于图像平面视野引导。同时，一个深度感知分支聚合预测注意力区域内的相对深度响应，以估计手术尺度，从而实现沿观察方向的适应性放大/缩小调节。

对于机器人部署，预测的注意力目标和深度感知尺度线索被转换为任务空间命令\(x,y,D\)，其中\(x,y\)指导横向重新居中，而D调节深度方向上的相机运动。这些命令由基于虚拟轴的 RCM 约束控制器执行，同时冗余感知的零空间初始化策略提高了 7 自由度机械臂的可行工作空间和平滑性。通过这种方式，SurgLAT 将潜在注意力预测、深度感知视野调节和物理约束的机器人执行集成到一个统一的闭环腹腔镜控制框架中。

主要贡献总结如下：(i) 我们设计了一个**因果潜在手术注意力模型**，通过记忆条件化空间推理和选择性时间更新，从流式腹腔镜视频中估计手术焦点。(ii) 我们引入了一个**深度感知的手术尺度估计分支**，将单目相对深度响应转换为自适应线索，用于腹腔镜的放大/缩小调节。(iii) 我们开发了一种**基于虚拟轴的 RCM 约束机器人控制策略**，具备冗余感知零空间初始化，可在物理 7 自由度腹腔镜平台上实现实时视野调整。(iv) 在**SurgAtt-1.16M 和真实世界机器人验证**上的大量实验表明，在遮挡、多器械干扰和动态组织交互下，该系统能够实现准确的手术注意力预测和稳定的闭环视野控制。

## 2 相关工作

### 2.1 手术注意力建模

#### 2.1.1 注意力感知的视野引导

自主腹腔镜控制需要一个可靠的视觉目标来反映外科医生的操作意图。早期的图像引导方法通常使用手工制作的几何线索来定义该目标，例如单器械质心、多器械中心或围绕可见器械的区域[21 (https://arxiv.org/html/2608.07876#bib.bib7),31 (https://arxiv.org/html/2608.07876#bib.bib8)]。这些方法对于基本的器械跟随场景简单有效，但它们隐含地假设期望的视野（FoV）由器械几何决定。然而，在实际手术中，具有临床信息量的区域可能对应于组织-器械交互、暴露的解剖边界、缝合部位或检查区域，而不是可见器械的几何中心。为了超越纯几何目标，最近的研究探索了使用注视、语音命令、外科医生偏好建模、模仿学习和动作感知预测来实现意图感知的视野引导[5 (https://arxiv.org/html/2608.07876#bib.bib5),23 (https://arxiv.org/html/2608.07876#bib.bib6),15 (https://arxiv.org/html/2608.07876#bib.bib10)]。这些方法提供了更具语义意义的相机目标，但其中许多仍然依赖于显式用户输入、特定平台的动作预测或预定义的控制策略。SurgAtt-Tracker[35 (https://arxiv.org/html/2608.07876#bib.bib12)]将手术视野引导形式化为在线手术注意力跟踪，并引入了专家标注的手术注意力区域。

#### 2.1.2 手术视频预测中的时间鲁棒性

手术注意力估计本质上是时间性的，因为手术焦点应在持续操作中保持稳定，同时适应器械变化、目标转换和意外事件。先前的研究通过时间平滑、概率建模和预测跟踪，提高了图像引导腹腔镜控制的稳定性。基于视觉伺服的系统正则化目标轨迹或相机运动，以抑制高频抖动[6 (https://arxiv.org/html/2608.07876#bib.bib22)]；概率框架从历史观察中编码外科医生偏好或器械状态分布[13 (https://arxiv.org/html/2608.07876#bib.bib18),14 (https://arxiv.org/html/2608.07876#bib.bib19)]；混合跟踪模块将在线跟踪与未来位置预测相结合以补偿延迟[9 (https://arxiv.org/html/2608.07876#bib.bib20)]。然而，这些方法主要稳定的是显式视觉代理，例如器械、质心或选定的几何点。相比之下，手术注意力是一种依赖于任务的潜在状态，可能在器械、组织、解剖结构和交互区域之间切换，这促使我们采用一种因果时间模型，在保持注意力连续性的同时允许快速状态更新[29 (https://arxiv.org/html/2608.07876#bib.bib26)]。

### 2.2 RCM 约束的腹腔镜控制

自主腹腔镜控制必须满足由套管针端口施加的远程运动中心（RCM）约束，该约束限制腹腔镜轴围绕切口点旋转，对于安全的微创操作至关重要。先前关于基于图像的视觉伺服和基于模型的机器人相机控制的研究通常使用器械尖端、器械质心或选定的视觉特征来定义图像平面误差，然后计算相机运动以最小化误差[21 (https://arxiv.org/html/2608.07876#bib.bib7),19 (https://arxiv.org/html/2608.07876#bib.bib14),32 (https://arxiv.org/html/2608.07876#bib.bib15)]。其他方法则结合了相机质量评估、启发式策略、约束优化、RCM 感知规划或冗余机械臂控制，以提高视野稳定性和部署可行性[1 (https://arxiv.org/html/2608.07876#bib.bib21),6 (https://arxiv.org/html/2608.07876#bib.bib22),14 (https://arxiv.org/html/2608.07876#bib.bib19),26 (https://arxiv.org/html/2608.07876#bib.bib27),4 (https://arxiv.org/html/2608.07876#bib.bib23),10 (https://arxiv.org/html/2608.07876#bib.bib24),22 (https://arxiv.org/html/2608.07876#bib.bib25)]。然而，这些方法通常局限于2D重新居中，并且与器械几何强耦合。因此，相机可能满足几何跟踪目标，却无法保持最具信息量的手术视野。

将学习到的手术注意力预测、深度感知视野调节、RCM 约束执行和真实世界机器人验证进行综合集成，仍未得到充分探索。与先前将感知和控制视为松散连接组件的工作不同，我们的框架将预测的注意力中心和深度感知的手术尺度线索转换为任务空间命令，用于横向重新居中和放大/缩小调节。这些命令通过基于虚拟轴的 RCM 约束控制器执行，并带有冗余感知零空间初始化，从而实现物理可行且意图感知的腹腔镜运动。

参见图注

图2：SurgLAT 通过记忆条件化空间推理和选择性潜在记忆，从流式腹腔镜视频中预测图像平面手术目标\(x,y\)。同时，一个深度感知分支估计手术深度包络，从中由运动条件化深度域调节策略推导出观察方向深度目标D，用于自适应放大/缩小控制。组合的任务空间目标\(x,y,D\)由 RCM 约束的机器人视野执行器执行，实现闭环腹腔镜视角调整。

## 3 方法论

### 3.1 问题定义与概述

给定流式腹腔镜视频\(\{I_1,\ldots,I_t\}\)，我们的目标是估计一个手术注意力目标，指示腹腔镜应该看向哪里，并将其转换为物理上可行的相机运动。与具有稳定外观和边界的持久对象不同，手术注意力是一种依赖于上下文且随时间演变的手术焦点。因此，我们将其建模为因果潜在状态：

\(H_t,\hat{B}_t,Z_t\)=\(\Phi_\theta(I_t,Z_{t-1},\mathcal{Z}_s,\mathcal{Z}_l)\)，(1)

其中\(H_t\)、\(\hat{B}_t\)和\(Z_t\)分别表示注意力场、手术区域和更新的潜在状态。SurgLAT 选择性地整合当前视觉证据、短期运动连续性和长期手术背景。预测的注意力区域提供图像平面引导，而深度感知尺度线索被转换为下游 RCM 约束控制器可执行的视野调整。

### 3.2 潜在手术注意力跟踪模型

#### 3.2.1 视觉 Token 编码

对于每个输入的腹腔镜帧\(I_t\)，我们首先使用冻结的 DINOv3[25 (https://arxiv.org/html/2608.07876#bib.bib16)]视觉基础编码