基于拓扑感知排序的图Mamba生存分析

# 基于拓扑感知排序的图Mamba生存分析
来源：https://arxiv.org/html/2606.02602
严培强a 寿云涛b 赵谦a 曹祥勇b
a西安交通大学数学与统计学院，中国西部科技创新港，陕西西安710049
b西安交通大学计算机科学与技术学院，中国西部科技创新港，陕西西安710049

###### 摘要

在计算病理学中，全切片图像（WSI）的生存分析对于患者预后评估至关重要，但面临多项技术挑战。虽然Transformer通过其自注意力机制捕获长程依赖，但其O(N²)时间复杂度在大规模WSI图结构中造成了严重的计算瓶颈。Mamba模型以线性复杂度突破了Transformer的计算瓶颈。然而，由于Mamba对输入数据顺序高度敏感，图Mamba中传统的节点排序方法（如基于节点度或子图大小的方法）未能充分考虑图数据的拓扑连通性，从而限制了Mamba序列化建模的性能。此外，其单向架构无法利用图像的双向空间结构。为解决这些挑战，本文提出一种新颖的基于拓扑感知排序的图Mamba生存分析框架（TopoMamSurv），以适应Mamba的序列敏感性。我们的可视化实验进一步证实，通过拓扑感知排序（TAO）策略提取的节点确实展现出更高的相似性。此外，我们设计了一个双向Mamba模块，并集成了图卷积网络（GCN），以实现图像的双向空间上下文建模，形成了“局部聚合-全局捕获”的分层特征学习架构。该框架通过TAO、双向语义建模和分层特征融合的系统设计，有效调和了WSI分析中长程依赖建模、计算效率与空间结构利用之间的矛盾。该框架在五个TCGA数据集上验证了其综合性能优势。

{IEEEkeywords}
计算病理学，图Mamba，拓扑感知排序，生存分析，全切片图像

## 1 引言

生存预测是一种通过量化从疾病诊断或治疗开始到特定临床事件（如死亡或疾病复发）发生的时间间隔来评估患者预后的方法。它在临床肿瘤学和医学实践中扮演着关键角色，能够实现精确的风险分层和预测，帮助医生制定个性化治疗方案，并支持患者根据预后信息做出知情决策。鉴于癌症仍是全球主要死因之一，开发精准且稳健的生存预测方法对于改善临床结局具有重要意义。

随着数字病理学技术的发展，全切片图像（WSI）因其高分辨率和全面的组织形态学信息[33 (https://arxiv.org/html/2606.02602#bib.bib31),25 (https://arxiv.org/html/2606.02602#bib.bib29),40 (https://arxiv.org/html/2606.02602#bib.bib32)]，已成为生存分析的关键数据源。在计算病理学中，由于WSI尺寸巨大，通常将其分割成更小的图块进行后续处理。因此，关键在于如何聚合这些图块信息以实现WSI级别的预测[39 (https://arxiv.org/html/2606.02602#bib.bib26)]。

目前，基于WSI的生存分析方法主要有两类：多实例学习（MIL）方法和基于图的方法。多实例学习（MIL）[18 (https://arxiv.org/html/2606.02602#bib.bib5),20 (https://arxiv.org/html/2606.02602#bib.bib6),48 (https://arxiv.org/html/2606.02602#bib.bib7),15 (https://arxiv.org/html/2606.02602#bib.bib8)]将WSI的输入图块视为共享该WSI相同标签的实例，并使用聚合的图块级信息进行患者级预测。相比之下，基于图的方法将每个WSI视为一个图，图块作为其节点[4 (https://arxiv.org/html/2606.02602#bib.bib11),22 (https://arxiv.org/html/2606.02602#bib.bib30),25 (https://arxiv.org/html/2606.02602#bib.bib29)]，并采用图神经网络（GNNs）获取患者级特征进行预测。由于图既能很好地表征图块间的局部相似性，又能表征WSI的全局结构，因此有望学习到良好的表示，从而在现有最先进方法中实现准确的生存预测[46 (https://arxiv.org/html/2606.02602#bib.bib38),22 (https://arxiv.org/html/2606.02602#bib.bib30)]。

参见图注
图1：Graph Mamba中的三种排序方法。
度排序。首先将图展平；然后按度升序排列节点，并列项随机化。
子图排序。首先通过随机游走采样子图，用单一特征表示每个子图，然后按游走长度m降序排列。
拓扑感知排序。枚举所有源-目标对，可选择对速度进行子采样，然后用Floyd算法计算最短路径并按顺序列出。

尽管已经取得了有希望的结果，GNN仍然存在局限性。例如，GNN的一个主要缺点是消息传递机制局限于局部节点邻域信息聚合，难以全局捕获长程依赖[56 (https://arxiv.org/html/2606.02602#bib.bib13)]。为了解决捕获长程依赖的问题，一些研究尝试将Transformer的全局感受野与GNN的消息传递相结合，以同时捕获局部和全局关系[26 (https://arxiv.org/html/2606.02602#bib.bib19)]。然而，由于自注意力机制的二次计算复杂度，这种方法加剧了高计算复杂度问题，尤其是在计算病理学等大规模图像应用中[45 (https://arxiv.org/html/2606.02602#bib.bib22)]。为了在捕获全局长程依赖的同时降低计算复杂度，Mamba模型已被引入计算病理学中大规模图的建模[49 (https://arxiv.org/html/2606.02602#bib.bib17)]。然而，由于Mamba最初是一种单向的序列到序列模型[13 (https://arxiv.org/html/2606.02602#bib.bib20)]，在处理图像或点云等多维数据时，需要将其展平成一维序列，因此，由于选择性结构记忆机制，序列的扫描顺序会显著影响最终性能。当应用于图数据（如WSI）时，由于图具有复杂的拓扑结构，扫描顺序变得更加重要。目前，针对基于图的Mamba已经采用了几种排序策略，包括按节点度[45 (https://arxiv.org/html/2606.02602#bib.bib22),2 (https://arxiv.org/html/2606.02602#bib.bib23)]或子图大小[2 (https://arxiv.org/html/2606.02602#bib.bib23)]排序。然而，这些方法都没有考虑图的拓扑连通性，从而限制了整体性能。

为了解决上述将基于图Mamba的方法应用于生存分析时的问题，我们提出了一种基于最短路径的拓扑感知排序（TAO）策略。具体来说，我们提出通过在图中搜索两个节点之间的最短路径来构建扫描序列。这种策略一方面可以确保序列中的相邻节点是图中拓扑意义上的真正邻居，保留了图的局部相似结构；另一方面可以捕获两个端节点之间的长程相关性。利用所提出的扫描排序策略，我们构建了一个多分支的基于图Mamba的架构，该架构还集成了图卷积网络（GCN）结构和双向Mamba技术，用于基于WSI的生存分析。总之，本文的主要贡献如下：

- • 我们提出了一种基于最短路径排序的拓扑感知排序策略。与现有的扫描排序策略相比，所提出的策略可以产生更好地捕获图局部和长程相关性的扫描序列。
- • 应用所提出的扫描策略，我们提出了一种基于GCN辅助的多分支双向图Mamba架构，用于基于WSI的生存分析任务。
- • 我们将我们的模型应用于真实的基于WSI的生存分析任务，并与现有的最先进方法进行比较，证明了其有效性。我们还专门验证了所提出扫描策略的合理性。

## 2 相关工作

### 2.1 基于WSI的生存分析

计算病理学是一门利用人工智能技术分析组织病理图像的学科，生存分析是其重要分支之一。生存分析旨在预测患者生存时间，为临床决策提供依据。传统的生存分析方法依赖病理学家的视觉检查和手动特征量化，耗时且主观性强。随着深度学习技术的发展，基于WSI的生存分析已成为一个热门研究方向。

深度学习方法可以自动从组织病理图像中学习复杂的特征表示，从而提高生存分析的准确性和鲁棒性。目前，处理基于WSI的生存分析任务主要有两种方式，即MIL方法和基于图的方法，我们在下面简要回顾它们。

参见图注
(a) TopoMamSurv框架概述
参见图注
(b) 节点排序
参见图注
(c) 双向Mamba模块

图2：TopoMamSurv框架。(a) TopoMamSurv框架概述。首先，从WSI中提取特征，并使用原型注意力机制进行优化。随后，构建全连接图并执行TAO。然后，通过联合双向Mamba-GCN模块对排序后的节点进行分析以生成生存预测。(b) 该方法使用边权重构建路径长度矩阵D_ij(adj)，随机选择多个节点对（例如A-E）作为端点，通过递归公式D_ij(k)=min(D_ij(k-1), D_ik(k-1)+D_kj(k-1))动态更新最短路径，并输出拓扑排序后的节点序列（例如A-D-E-B）。(c) 输入X经过卷积核W处理后进入标准Mamba层以捕获前向上下文，同时被送入转置组件(W^rev, A^T, B^T)进行反向状态空间模型计算。双分支输出在门控层进行加权聚合，然后通过线性层生成最终表示。

**基于MIL的方法。** MIL-based方法将来自WSI的图块视为一个示例的多个实例。传统的基于MIL的方法，无论是基于池化[12 (https://arxiv.org/html/2606.02602#bib.bib3),54 (https://arxiv.org/html/2606.02602#bib.bib4)]还是词袋模型（bovw）[51 (https://arxiv.org/html/2606.02602#bib.bib1),34 (https://arxiv.org/html/2606.02602#bib.bib2)]，都是预定义且不可训练的。受深度表示学习进展的启发，最近的方法将它们与可训练的神经网络相结合，以获得更具判别性的特征。此外，为了捕获每个实例对整体表示的贡献，许多研究将注意力机制引入MIL[18 (https://arxiv.org/html/2606.02602#bib.bib5)]，并将其扩展到例如双流注意力[20 (https://arxiv.org/html/2606.02602#bib.bib6)]和聚类注意力[48 (https://arxiv.org/html/2606.02602#bib.bib7),15 (https://arxiv.org/html/2606.02602#bib.bib8)]。此外，Transformer模型凭借其特定的自注意力机制，已被应用于有效捕获MIL方法中的长程依赖和全局特征[39 (https://arxiv.org/html/2606.02602#bib.bib26),33 (https://arxiv.org/html/2606.02602#bib.bib31),40 (https://arxiv.org/html/2606.02602#bib.bib32)]。最近，新提出的状态空间模型Mamba也被考虑用于此任务[50 (https://arxiv.org/html/2606.02602#bib.bib14),10 (https://arxiv.org/html/2606.02602#bib.bib15)]。

**基于图的方法。** 基于图的方法将WSI建模为图，其中一个WSI被视为一个图，图块或其对应的特征作为节点。基于这种图表示，主要使用消息传递GNN来捕获不同组织区域之间的空间连通性。早期的基于图的研究依赖于手工设计的特征[47 (https://arxiv.org/html/2606.02602#bib.bib9)]，而预训练的深度卷积神经网络（CNN）作为特征提取器已变得更加普遍[7 (https://arxiv.org/html/2606.02602#bib.bib10),4 (https://arxiv.org/html/2606.02602#bib.bib11),43 (https://arxiv.org/html/2606.02602#bib.bib12)]。考虑到Transformer在长序列建模方面的优势，许多研究尝试将GNN与Transformer相结合，以缓解GNN中的过平滑问题并更好地捕获全局节点连通性[43 (https://arxiv.org/html/2606.02602#bib.bib12),56 (https://arxiv.org/html/2606.02602#bib.bib13)]。最近出现的Mamba模型凭借其显著优势，也吸引了研究人员将图数据与Mamba集成以进行进一步研究[8 (https://arxiv.org/html/2606.02602#bib.bib16),49 (https://arxiv.org/html/2606.02602#bib.bib17)]。

### 2.2 长序列建模

长序列建模在自然语言处理和时间序列预测等许多领域都至关重要[27 (https://arxiv.org/html/2606.02602#bib.bib48),38 (https://arxiv.org/html/2606.02602#bib.bib49),52 (https://arxiv.org/html/2606.02602#bib.bib50)]。为此，Transformer[44 (https://arxiv.org/html/2606.02602#bib.bib47)]被设计出来，并在广泛的应用中显示出其有效性[36 (https://arxiv.org/html/2606.02602#bib.bib51),58 (https://arxiv.org/html/2606.02602#bib.bib52),30 (https://arxiv.org/html/2606.02602#bib.bib53),9 (https://arxiv.org/html/2606.02602#bib.bib54)]。然而，由于O(N²)的时间复杂度[59 (https://arxiv.org/html/2606.02602#bib.bib18),26 (https://arxiv.org/html/2606.02602#bib.bib19)]，这类基于Transformer的模型在长序列建模中具有沉重的计算和内存负担以及低效率。因此，一些研究尝试通过修改注意力计算方式来降低计算复杂度和内存消耗，例如稀疏注意力[59 (https://arxiv.org/html/2606.02602#bib.bib18)]和金字塔注意力[26 (https://arxiv.org/html/2606.02602#bib.bib19)]。然而，经验表明，这些近似方法可能在大规模序列上表现不佳，因为它们削弱了Transformer的关键优势[13 (https://arxiv.org/html/2606.02602#bib.bib20)]。