Token级别跨模态Transformer与对比多任务学习用于乳腺癌亚型分类和生存预测

# 基于令牌级跨模态Transformer与对比多任务学习的乳腺癌亚型分类与生存预测
来源: https://arxiv.org/html/2607.16233  
Byungwon Min²,‡ ¹江西陶瓷工艺美术职业技术学院数字艺术学院, 景德镇 330001, 中国 ²牧园大学IT工程系, 大田 35349, 韩国 *通讯作者: bentondoucet@gmail\.com †当前地址: 牧园大学IT工程系, 大田 35349, 韩国

###### 摘要

整合异质性基因组和临床模态以进行联合癌症亚型分类和生存预测仍然是精准肿瘤学中的关键挑战。现有方法存在三个局限性：(1) 它们将每种模态视为单一特征向量，从而阻止了跨模态的细粒度令牌级交互；(2) 跨模态融合通常通过线性加权或后期平均而非结构化令牌交换进行；(3) 生存和分类目标被独立优化，缺少联合正则化信号。我们提出UMMT（统一多模态Transformer），这是一个通过令牌级跨模态融合解决所有三个失效点的框架。具体地，每种模态的压缩潜在表示被视作Transformer序列中的一个*模态令牌*，通过跨模态Transformer（CMT）编码器实现跨模态的完整令牌级自注意力。我们引入一个跨模态对比学习目标（InfoNCE），通过将同一患者的令牌拉近同时将不同患者的令牌推远，来对齐跨模态的患者表示。一个非线性DeepSurv生存头取代了标准的线性Cox模型，以捕捉非比例风险模式。所有目标（分类、生存和对比对齐）在多任务学习框架中联合优化。在METABRIC数据集（n=1,981）上，UMMT在6类分子分型中达到79.8%的准确率和0.767的宏平均F1，生存预测的一致性指数为0.741，在所有指标上均优于PORPOISE（适配版）、DeepSurv、MOFA+和OmiVAE。配对t检验和bootstrap置信区间确认统计显著性（与所有baseline相比p<0.01）。在TCGA-BRCA（n=1,089）上的外部验证得到C-index为0.718，证明了泛化能力。注意力分析显示CMT学习到了可解释的跨模态交互模式，其中mRNA表达和临床特征形成了主要的令牌间通信路径。我们的代码可在https://github.com/liushuxing8888student.usm.my/breast-cancer-mt获取。

关键词: 乳腺癌, 多模态学习, Transformer, 令牌级融合, 跨模态注意力, 对比学习, DeepSurv, 生存分析, 精准肿瘤学。

## 1 引言

乳腺癌仍然是全球女性癌症相关死亡的主要原因，每年约有230万新发病例[1 (https://arxiv.org/html/2607.16233#bib.bib1)]。该疾病表现出显著的分子异质性，包含至少六种内在亚型（Luminal A、Luminal B、HER2富集、Claudin-low、基底样和正常样），每种亚型具有不同的临床轨迹、治疗敏感性和生存结局[2 (https://arxiv.org/html/2607.16233#bib.bib2)]。准确的分子分型和预后分层是个性化治疗决策的基础。

现代临床肿瘤学为每位患者生成了丰富的多模态数据，包括临床记录、mRNA表达谱、拷贝数变异（CNA）特征、DNA甲基化模式和体细胞突变数据。每种模态捕捉了肿瘤生物学的一个互补方面，它们的整合应比任何单一模态产生更可靠的预测。然而，现有的多模态方法存在三个基本失效点，本文直接针对这些问题提出解决方案。

失效点1：整体式模态表示阻止了令牌级交互。当前方法将每种模态编码为一个固定维度的单一向量，然后将这些向量串联或求和用于下游预测[3 (https://arxiv.org/html/2607.16233#bib.bib3),4 (https://arxiv.org/html/2607.16233#bib.bib4)]。这种设计将一个500维的mRNA谱（包含来自数百个基因的信息）视为一个原子单元，使得模型无法将一个模态中的特定基因与另一模态中的相应特征对齐。跨模态信号在*更细粒度*上运作：TP53中的突变可能表现为其转录靶标的表达改变，而当整个模态被压缩成整体式嵌入时，这种关系就消失了。

失效点2：融合策略缺乏结构化的跨模态交换。主流的融合范式（早期串联、后期平均和注意力加权求和[5 (https://arxiv.org/html/2607.16233#bib.bib5)]）本质上是静态或线性的。即使是基于注意力的融合机制，通常也会为每个模态计算一个标量重要性权重，然后进行加权求和，这在表示空间中构成了线性混合。没有现有方法提供*结构化交换*，其中来自一个模态的信息可以在令牌级有选择性地关注、查询和更新来自另一模态的信息。这种令牌级跨模态通信正是Transformer自注意力机制设计的目标[6 (https://arxiv.org/html/2607.16233#bib.bib6)]，然而先前在多组学融合中的工作并未充分利用这一能力。

失效点3：分类和生存目标的分离优化。大多数现有框架将分子分型和生存预测视为独立任务，为每个目标训练单独的模型[7 (https://arxiv.org/html/2607.16233#bib.bib7),8 (https://arxiv.org/html/2607.16233#bib.bib8)]。这忽视了癌症亚型和预后之间内在的生物学耦合：亚型是从分子特征中得出的类别标签，而这些分子特征本身与生存轨迹相关。联合优化这些目标可以产生协同效应，其中分类任务正则化生存表示，反之亦然。此外，现有多模态生存框架都没有纳入*跨模态对比对齐*来强制不同模态之间的表示不变性，这在模态有噪声或部分缺失时尤其有益。

我们的贡献。我们提出UMMT，一个结构新颖的框架，用原则性替代方案替换了所有三种失败模式：

1. (1) 令牌级跨模态表示（结构创新）。UMMT不是将每个模态编码为一个整体式向量，而是将每个模态的潜在表示投影为*一系列模态令牌*，这些令牌构成跨模态Transformer（CMT）的输入。每个令牌对应一种模态（临床、mRNA、CNA、甲基化、突变），CMT通过完整的双向自注意力处理它们，实现细粒度的令牌级信息交换。这与基于串联的融合有结构性差异：CMT学习*哪些*模态应该关注*哪些*其他模态（针对每位患者），产生一个交互矩阵而非标量权重。
2. (2) 跨模态对比学习（对齐目标）。我们引入一个模态感知的InfoNCE损失，该损失将同一患者在不同模态下的CMT输出拉近，同时将不同患者的表示推远。这明确地在患者级别强制实现跨模态表示一致性，基于互信息最大化原则[10 (https://arxiv.org/html/2607.16233#bib.bib10)]。
3. (3) 带有DeepSurv头的统一多任务学习（联合优化）。所有三个目标——通过加权的交叉熵进行的分子亚型分类、通过离散时间DeepSurv头（取代线性Cox）进行的生存预测、以及通过InfoNCE进行的跨模态对比对齐——以端到端方式联合优化。DeepSurv头能够捕捉标准Cox模型无法表达的非比例风险模式。
4. (4) 严格的统计验证。我们提供bootstrap置信区间（n=1,000次重采样）、针对所有baseline的配对t检验、带有综合Brier评分（IBS）的校准曲线，以及在TCGA-BRCA队列（n=1,089）上的外部验证。强SOTA baseline包括MOFA+[23 (https://arxiv.org/html/2607.16233#bib.bib23)]、DeepHit[21 (https://arxiv.org/html/2607.16233#bib.bib21)]和OmiVAE[13 (https://arxiv.org/html/2607.16233#bib.bib13)]。

本文其余部分组织如下。第2节 (https://arxiv.org/html/2607.16233#S2) 回顾先前工作并指出激发我们贡献的差距。第3节 (https://arxiv.org/html/2607.16233#S3) 详细描述UMMT架构。第4节 (https://arxiv.org/html/2607.16233#S4) 描述实验设置、数据集、baseline和评估协议。第5节 (https://arxiv.org/html/2607.16233#S5) 报告定量和定性结果。第6节 (https://arxiv.org/html/2607.16233#S6) 解释发现、分析学习到的交互模式并讨论局限性。第7节 (https://arxiv.org/html/2607.16233#S7) 进行总结。

## 2 相关工作

### 2.1 癌症预后的多模态融合

计算肿瘤学中的多模态整合经历了几个不同的范式。Cheerla和Gevaert[3 (https://arxiv.org/html/2607.16233#bib.bib3)]的早期工作将临床和基因组特征串联成一个单一向量，然后通过前馈网络，这是一种*早期融合*策略，对称地对待所有模态，但无法建模跨模态交互。Huang等人[4 (https://arxiv.org/html/2607.16233#bib.bib4)]提出了一种*基于注意力的融合*框架，计算模态级别的重要性权重并执行加权求和。最近，PORPOISE框架[5 (https://arxiv.org/html/2607.16233#bib.bib5)]采用了一种用于组织学-基因组融合的Transformer架构，但保留了基于串联的设计。Pathomic Fusion[11 (https://arxiv.org/html/2607.16233#bib.bib11)]使用门控注意力来组合组织病理学和基因组特征。

然而，所有这些方法都有一个共同的结构局限性：它们将每种模态的表示视为一个*原子单元*，进行串联、求和或线性加权。没有方法执行令牌级跨模态注意力，其中来自一个模态的各个特征直接与来自另一模态的特征交互。UMMT框架打破了这一模式，它将压缩的模态表示视为一个*令牌序列*，由跨模态Transformer处理，从而实现令牌级别的完全成对交互。

### 2.2 去噪自编码器用于基因组表示学习

基因组数据的特征是高维度（数千个特征）、相当大的测量噪声和频繁的缺失值。去噪自编码器（DAEs）[9 (https://arxiv.org/html/2607.16233#bib.bib9)]通过从损坏版本中学习重建干净输入来应对这些挑战，从而捕获可靠的潜在表示。Chaudhary等人[12 (https://arxiv.org/html/2607.16233#bib.bib12)]将DAEs应用于肝细胞癌生存预测的多组学整合。Zhang等人[13 (https://arxiv.org/html/2607.16233#bib.bib13)]将DAEs扩展到多种癌症类型的癌种分型。

在UMMT中，每种模态由其自己的DAE独立处理，这有两个关键目的：(1) 从原始特征空间（d_m高达500）降维到紧凑的潜在空间（d_latent=64），以及 (2) 通过训练期间的高斯损坏实现噪声鲁棒性。生成的潜在向量作为“令牌”输入到CMT中。

### 2.3 跨模态注意力和对比学习

跨模态注意力在视觉-语言建模中已被广泛探索[15 (https://arxiv.org/html/2607.16233#bib.bib15),16 (https://arxiv.org/html/2607.16233#bib.bib16)]，其中Transformer处理来自不同模态的对齐序列。然而，它在多组学融合中的应用仍然有限。UMMT的关键洞察是，基因组模态尽管具有不同的维度和语义尺度，但在压缩到共享的潜在空间后可以被视为*一组令牌*，从而启用基于Transformer的跨模态注意力。

同时，对比学习在各个领域显著推进了表示学习[17 (https://arxiv.org/html/2607.16233#bib.bib17),18 (https://arxiv.org/html/2607.16233#bib.bib18)]。InfoNCE损失[10 (https://arxiv.org/html/2607.16233#bib.bib10)]最大化同一数据点不同视图之间的互信息。在多模态设置中，对比目标已应用于CLIP[19 (https://arxiv.org/html/2607.16233#bib.bib19)]以对齐图像和文本。据我们所知，UMMT是第一个将跨模态对比学习应用于癌症预后基因组多模态融合的框架，拉近同一患者跨模态的表示。

### 2.4 深度生存分析

Cox比例风险模型[20 (https://arxiv.org/html/2607.16233#bib.bib20)]仍然是生存分析的标准方法。深度学习扩展如DeepSurv[7 (https://arxiv.org/html/2607.16233#bib.bib7)]和Cox-nnet[8 (https://arxiv.org/html/2607.16233#bib.bib8)]引入了非线性风险建模，同时保留了比例风险假设。更灵活的方法包括DeepHit[21 (https://arxiv.org/html/2607.16233#bib.bib21)]，它直接估计生存时间和事件的联合分布，以及离散时间生存模型[22 (https://arxiv.org/html/2607.16233#bib.bib22)]。在UMMT中，我们将标准的线性Cox头替换为DeepSurv风格的非线性头，它可以捕获复杂的非比例风险模式，同时保持Cox部分似然作为训练目标。

## 3 方法

### 3.1 问题形式化

令P = {p_1, p_2, ..., p_N}表示一个包含N名患者的队列。每位患者p_i关联M=5种模态：临床特征、mRNA表达、拷贝数变异（CNA）、DNA甲基化和体细胞突变。形式上，我们观察到X_i = {x_i^{(1)}, x_i^{(2)}, ..., x_i^{(M)}}，其中x_i^{(m)} ∈ R^{d_m}表示模态m的特征向量。对于每位患者，定义两个预测目标：

- •分子亚型分类：y_i ∈ {0,1,...,C-1}，其中C=6（Luminal A, Luminal B, HER2富集, Claudin-low, 基底样, 正常样）。
- •生存预测：(t_i, δ_i)，其中t_i ∈ R^+是无复发生存时间（月），δ_i ∈ {0,1}是事件指示符（δ_i=1表示复发或死亡）。

### 3.2 架构概述

UMMT由五个核心组件组成，按结构化流水线排列（图1 (https://arxiv.org/html/2607.16233#S3.F1)）：

1. 1. 模态特定去噪自编码器：每种模态由专用的DAE独立处理。对于模态m，DAE由编码器f_enc^{(m)}和解码器f_dec^{(m)}组成。在训练时，输入x^{(m)}首先被加噪：x̃^{(m)} = x^{(m)} + ε，其中ε ~ N(0, σ²I)。编码器生成潜在表示z^{(m)} = f_enc^{(m)}(x̃^{(m)}) ∈ R^{d_latent}，解码器尝试从噪声版本重建原始输入：x̂^{(m)} = f_dec^{(m)}(z^{(m)})。训练目标是最小化重建误差：L_recon^{(m)} = ||x^{(m)} - x̂^{(m)}||²。通过这种方式，每种模态的DAE学会了从噪声观测中提取干净、紧凑的潜在表示。所有DAE共享相同的潜在维度d_latent = 64，从而确保来自不同模态的令牌具有兼容的维度，用于后续的Transformer处理。在DAE预训练之后，解码器被丢弃，只有编码器用于推断。

2. 2. 令牌化与序列构建：一旦每种模态被编码为潜在向量z^{(m)} ∈ R^{d_latent}，我们就为每位患者构建一个输入序列。具体来说，我们将所有M个潜在向量视为一个序列：[z^{(1)}, z^{(2)}, ..., z^{(M)}]，其中每个z^{(m)}现在充当一个“模态令牌”。为了帮助Transformer区分不同的模态，我们添加一个可学习的模态特定嵌入e^{(m)} ∈ R^{d_latent}到每个令牌上。此外，我们添加一个可学习的[CLS]令牌，其潜在表示与模态令牌相同（d_latent），并作为整个多模态序列的综合表示。因此，输入到跨模态Transformer的序列长度为M+1 = 6。最终的输入序列为：S = [[CLS], z^{(1)}+e^{(1)}, z^{(2)}+e^{(2)}, ..., z^{(M)}+e^{(M)}]。这种构造允许Transformer通过自注意力处理所有模态令牌的完整双向交互，使[CLS]令牌能够聚合来自所有模态的信息。

3. 3. 跨模态Transformer（CMT）：CMT是一个标准的Transformer编码器，由L=4层组成，每层包括多头自注意力（8个头，d_k=16）和逐位置前馈网络（隐藏维度256，使用GELU激活）。自注意力机制计算序列中所有令牌对之间的注意力权重，使得每个模态令牌可以关注所有其他模态令牌以及[CLS]令牌。这一点至关重要，因为它实现了结构化的跨模态信息交换：例如，mRNA令牌可以关注CNA令牌，以适应性地将基因表达变化与拷贝数改变相关联。CMT输出一个加权的表示序列：H = [h_[CLS], h_1, h_2, ..., h_M]，其中h_[CLS] ∈ R^{d_latent}是聚合后的多模态表示，h_m ∈ R^{d_latent}是每个模态的上下文感知表示。

4. 4. 分类头：分子亚型分类使用[CLS]表示h_[CLS]。一个单层前馈网络（权重W_cls ∈ R^{d_latent × C}，偏置b_cls）将h_[CLS]投影到类别logits：logits = h_[CLS] W_cls + b_cls。然后通过softmax获得类别概率。分类损失是加权交叉熵：L_cls = - Σ_{i=1}^{N} w_{y_i} · log(p_i(y_i))，其中p_i(y_i)是正确类别的预测概率，权重w_c与训练集中类别c的频率成反比，以处理亚型不平衡。

5. 5. 带有DeepSurv头的生存预测：对于生存分析，我们使用所有M个模态的上下文感知表示：h = [h_1; h_2; ...; h_M]（串联）或使用h_[CLS]。在我们的实现中，我们串联所有模态令牌的表示，得到一个M × d_latent的向量，然后通过一个具有两个隐藏层（256和128个单元，ReLU激活）的非线性前馈网络，然后是一个线性层输出标量风险logits h_surv。风险函数由线性Cox部分似然指定：h(t|X) = h_0(t) · exp(h_surv)。我们使用部分似然作为训练目标：L_surv = - Σ_{i:δ_i=1} [h_surv_i - log(Σ_{j∈R(t_i)} exp(h_surv_j))]，其中R(t_i)是在时间t_i仍处于风险中的患者集合。与标准线性Cox模型相比，这种非线性头允许捕获非比例风险模式，因为h_surv不必是输入的线性函数。

所有三个目标以端到端方式联合优化，总损失为：L_total = α L_cls + β L_surv + γ L_contrast，其中α、β、γ是平衡各任务贡献的超参数（在我们的实验中，α=1.0，β=0.5，γ=0.1）。联合优化强制分类和生存表示相互正则化，而对比对齐确保跨模态的一致性。

### 3.3 多任务学习与损失函数

UMMT在一个统一的框架中联合优化三个目标：分子亚型分类、时间-事件生存预测和跨模态表示对齐。总损失函数是三个分量的加权和：

L_total = α L_cls + β L_surv + γ L_contrast

- 分类损失L_cls：如上定义的加权交叉熵。
- 生存损失L_surv：非线性DeepSurv头的Cox部分似然，如前所述。
- 对比损失L_contrast：跨模态对比对齐的InfoNCE损失，如下定义。

#### 3.4 跨模态对比学习

跨模态对比对齐的目标是加强不同模态之间患者表示的一致性。对于每名患者，我们期望其来自不同模态的CMT输出（即令牌表示）在表示空间中接近，而不同患者之间的表示应分离。具体来说，给定一个批次中的B名患者，对于每个模态m，我们获得其上下文感知表示h_m,i（第i名患者的第m个模态）。我们定义一个跨模态对比任务：对于给定的锚点模态a和正模态m（a≠m），正样本对是来自同一患者的表示对（h_a,i, h_m,i），负样本对是来自同一批次中不同患者j≠i的表示对（h_a,i, h_m,j）。我们使用InfoNCE损失：

L_contrast = - Σ_{i=1}^{B} Σ_{a≠m} log [ exp(sim(h_a,i, h_m,i)/τ) / Σ_{j=1}^{B} exp(sim(h_a,i, h_m,j)/τ) ]

其中sim(·,·)是余弦相似度，τ是温度参数（设为0.1）。我们在所有模态对上求和，以鼓励跨所有模态对的一致性。通过这种对比对齐，UMMT学会了提取模态不变的患者特征，这在模态有噪声或部分缺失时尤其有益。

### 3.5 实现细节

**预训练阶段**：每种模态的DAE独立训练50个epoch，学习率为1×10^{-3}，使用Adam优化器。批大小为128，高斯噪声标准差σ=0.1。重建损失为均方误差。在DAE预训练之后，编码器权重被冻结，解码器被丢弃。

**微调阶段**：CMT、分类头和生存头联合训练100个epoch，使用Adam优化器，学习率为1×10^{-4}，权重衰减为1×10^{-5}。批大小为32。学习率在30和60 epoch后乘以0.5。所有输入特征被z-score归一化到均值为0、标准差为1。

**架构细节**：潜在维度d_latent=64。CMT层数L=4，注意力头数=8，前馈维度=256。分类头为单层线性，生存头为两层MLP（[128, 64] + 线性）。对比损失温度τ=0.1，损失权重α=1.0，β=0.5，γ=0.1。在我们所有实验中，这些超参数固定。

**数据分割**：METABRIC数据集按70/15/15的比例分割为训练集、验证集和测试集，分层确保亚型分布保持。所有超参数在验证集上调整，报告测试集上的最终性能。

## 4 实验

### 4.1 数据集

**METABRIC**：分子分类国际联盟（METABRIC）数据集包含1,981名原发性乳腺癌患者，具有全面的分子和临床特征[25 (https://arxiv.org/html/2607.16233#bib.bib25)]。我们使用五种模态：临床特征（15个特征）、mRNA表达（500个最具变异性的基因）、拷贝数变异（500个基因水平的CNA）、DNA甲基化（500个CpG位点）和体细胞突变（10个最常见突变基因的二元特征）。分子亚型（Luminal A、Luminal B、HER2富集、Claudin-low、基底样和正常样）作为分类标签。生存信息包括无复发生存时间（月）和复发/死亡事件指示符。

**TCGA-BRCA**：来自癌症基因组图谱的乳腺浸润癌队列[27 (https://arxiv.org/html/2607.16233#bib.bib27)]用作外部验证集。我们选择具有完整五种模态和生存信息的1,089名患者。特征选择和预处理与METABRIC一致。分子亚型标签根据PAM50分类器分配。TCGA-BRCA仅用于评估，不用于任何训练或超参数调整。

### 4.2 Baseline方法

我们将UMMT与几种最先进的多模态和单模态方法进行比较：

- **PORPOISE (适配版)** [5 (https://arxiv.org/html/2607.16233#bib.bib5)]：一个用于多组学整合的Transformer架构，使用串联融合。我们适配其代码以处理我们特定的模态，并训练其分类和生存头。
- **DeepSurv** [7 (https://arxiv.org/html/2607.16233#bib.bib7)]：一个用于生存预测的深度Cox模型，使用所有模态的串联特征。
- **MOFA+** [23 (https://arxiv.org/html/2607.16233#bib.bib23)]：一个因子分析框架，用于多模态降维和整合。我们将学习到的因子输入到线性Cox模型和分类器中。
- **OmiVAE** [13 (https://arxiv.org/html/2607.16233#bib.bib13)]：一个用于多组学深度整合的变分自编码器框架，带有解耦表示。我们使用其公共代码。
- **单模态DAE**：仅单一模态的DAE + 线性Cox + 分类器，用于评估每种模态的独立贡献。

所有baseline使用与我们相同的训练/验证/测试分割和评估协议。对于PORPOISE和OmiVAE，我们使用其原始超参数。对于DeepSurv和MOFA+，我们调整超参数（学习率、层大小、epoch数）以实现最佳验证性能。

### 4.3 评估指标

**分类**：我们报告准确率、宏平均F1和加权平均F1。由于亚型不平衡（最大类Luminal A占48%，最小类Claudin-low占7%），宏平均F1对性能提供更平衡的评估。

**生存预测**：我们报告一致性指数（C-index），它测量模型正确排序患者风险的能力。我们还报告了随时间变化的整合Brier评分（IBS）[28 (https://arxiv.org/html/2607.16233#bib.bib28)]，它评估概率预测的校准程度。对于C-index，值越高越好（最大值1.0）；对于IBS，值越低越好。

**统计显著性**：我们执行配对t检验（在5次独立运行中）以比较UMMT与每个baseline的C-index和准确率。我们还使用bootstrap（1,000次重采样）报告95%置信区间。所有测试使用显著性水平α=0.05。

### 4.4 实验结果

表1 (https://arxiv.org/html/2607.16233#S4.T1) 总结了METABRIC测试集上的主要结果。UMMT在所有指标上优于所有baseline：准确率79.8%，宏F1 0.767，C-index 0.741。PORPOISE（第二好的方法）达到74.1%准确率、0.710宏F1和0.715 C-index。MOFA+和OmiVAE表现相当但低于PORPOISE。单模态DAE显示仅任一单独的模态（mRNA最高，C-index 0.641）都远低于多模态结果，突出了整合的价值。

表1. METABRIC测试集上的性能。报告五轮运行的平均值（标准差）。最佳结果以粗体标出。所有UMMT结果与所有baseline相比在p<0.01时显著。

| 方法 | 准确率 (%) | 宏F1 | 加权F1 | C-index | IBS |
|------|-----------|------|--------|---------|-----|
| 单模态mRNA DAE | 62.3 (1.8) | 0.541 (0.021) | 0.612 (0.019) | 0.641 (0.012) | 0.182 (0.008) |
| 单模态临床DAE | 55.1 (2.1) | 0.472 (0.025) | 0.533 (0.022) | 0.573 (0.015) | 0.211 (0.009) |
| MOFA+ | 68.9 (1.5) | 0.638 (0.018) | 0.681 (0.016) | 0.682 (0.011) | 0.158 (0.007) |
| OmiVAE | 71.2 (1.4) | 0.665 (0.017) | 0.703 (0.015) | 0.698 (0.010) | 0.149 (0.006) |
| DeepSurv | 70.8 (1.6) | 0.651 (0.019) | 0.694 (0.017) | 0.703 (0.009) | 0.144 (0.007) |
| PORPOISE | 74.1 (1.3) | 0.710 (0.015) | 0.739 (0.014) | 0.715 (0.009) | 0.138 (0.006) |
| **UMMT (ours)** | **79.8 (1.1)** | **0.767 (0.013)** | **0.789 (0.012)** | **0.741 (0.008)** | **0.125 (0.005)** |

### 4.5 消融研究

为了量化每个组件的贡献，我们进行消融实验：去除对比学习（UMMT_no_cont）、使用线性Cox头（UMMT_linear_Cox）、去除CMT（使用串联融合代替，UMMT_no_CMT）和使用单任务学习（仅分类或仅生存）。结果见表2。

表2. METABRIC上的消融研究。

| 模型变体 | 准确率 (%) | 宏F1 | C-index |
|----------|-----------|------|---------|
| UMMT (完整) | 79.8 | 0.767 | 0.741 |
| UMMT_no_cont | 77.5 | 0.741 | 0.728 |
| UMMT_linear_Cox | 79.3 | 0.760 | 0.713 |
| UMMT_no_CMT | 74.8 | 0.715 | 0.706 |
| 仅分类任务 | 76.2 | 0.722 | - |
| 仅生存任务 | - | - | 0.694 |

去除对比学习导致准确率下降2.3%，C-index下降0.013，表明跨模态对齐提升了泛化能力。用线性Cox替换DeepSurv头使C-index下降0.028，验证了非线性头捕捉非比例风险的必要性。移除CMT（使用简单串联）导致准确率下降5.0%，C-index下降0.035，表明了令牌级跨模态注意力在融合中的关键作用。单任务训练相比多任务设置均表现更差，证实了联合优化的协同效益。

### 4.6 在TCGA-BRCA上的外部验证

我们使用TCGA-BRCA数据集（n=1,089）评估UMMT的泛化能力，仅使用METABRIC预训练权重进行前向传播（无微调）。结果见表3。UMMT达到C-index 0.718，优于PORPOISE（0.690）和DeepSurv（0.671）。分类准确率为72.1%，低于METABRIC，这可能归因于队列差异和亚型标签的不匹配（PAM50 vs. 固有亚型）。尽管如此，UMMT在跨数据集泛化方面仍优于baseline。

表3. TCGA-BRCA外部验证结果。

| 方法 | 准确率 (%) | 宏F1 | C-index |
|------|-----------|------|---------|
| DeepSurv | 64.8 | 0.581 | 0.671 |
| PORPOISE | 68.3 | 0.632 | 0.690 |
| UMMT (ours) | 72.1 | 0.683 | 0.718 |

### 4.7 可解释性分析

为了理解CMT学习的跨模态交互，我们检查了注意力权重。图2 (https://arxiv.org/html/2607.16233#S4.F2) 显示了平均注意力矩阵（跨所有测试患者）。对角线条目通常最高，表明在每个模态内自我更新主导。然而，显著的跨模态条目也很明显：mRNA↔CNA的注意力权重平均为0.18，mRNA↔临床的注意力权重平均为0.15，表明它们是最活跃的跨模态通信路径。甲基化和突变令牌显示出较低的跨模态权重（<0.08），表明它们提供更独立的信息。

我们进行了注意力权重与生存时间的相关性分析：在年轻患者中，临床↔mRNA注意力权重更高，可能反映了更侵略性的疾病特征。这种模式表明CMT适应性地关注不同患者群体的不同模态对，提供了个性化的预测线索。

## 5 结论

我们提出了UMMT，一个创新的多模态融合框架，通过三个关键创新解决了现有方法的基本局限性：令牌级跨模态表示、跨模态对比对齐和统一多任务学习。在METABRIC数据集的严格评估中，UMMT在乳腺癌分子亚型分类和生存预测方面都达到了最先进的性能，并在TCGA-BRCA数据集上得到了验证。消融研究确认了每个组件的贡献，而可解释性分析表明CMT学习到了临床上合理的跨模态交互模式。UMMT代表了朝着基于多模态Transformer的精准肿瘤学迈出了有希望的一步，为利用异质性临床和基因组数据改善癌症预后提供了通用架构。

## 参考文献

[1] [未列出——原文包含引用，此处按需保留]
...

*注：翻译中保留了