DoGMA：中心法则引导的肿瘤学多组学对齐与多任务学习基础模型

arXiv cs.LG 论文
multi-omics foundation-model oncology central-dogma transformer mixture-of-experts representation-learning

摘要

DoGMA 是一种中心法则引导的泛癌多组学分析基础模型，采用 Transformer-MoE 架构，通过定向注意力对齐 DNA-RNA-蛋白质信息流，并利用掩码层次组学重构进行预训练。它在癌症表征学习、生存预测和转移预测任务中均表现出强劲性能。

arXiv:2608.08148v1 公告类型：新 摘要：注意力机制已被广泛应用于现代深度学习，许多现有多组学模型沿用了其传统用法，允许无限制的双向交互。然而，生命的基本逻辑是方向性的。现有设计往往忽视了中心法则所暗示的方向性，这可能限制跨异质癌症、下游任务和不完整模态设置的迁移能力。在这项工作中，我们提出了 DoGMA，一种面向泛癌多组学分析的中心法则引导基础模型，认为稳健的迁移需要具有领域特定归纳偏置的表征。具体而言，我们基于 Transformer-MoE 架构构建该模型，其中定向注意力将组学间的通信偏向中心法则信息流。我们进一步使用掩码层次组学重构对模型进行预训练，引导其学习与中心法则一致的交互。在包括癌症表征学习、生存预测和转移预测在内的多种下游任务中，DoGMA 持续展现出强大的预测性能。消融实验和分析进一步表明，性能提升源于中心法则引导的定向注意力与基于重构的预训练之间的协同作用，两者共同促进了更具生物学一致性的跨组学信息交换。总体而言，DoGMA 证明了领域特定的归纳偏置能够提高多组学基础模型的鲁棒性和可迁移性，为多组学表征学习中注意力机制的设计提供了新见解。
查看原文
查看缓存全文

缓存时间: 2026/08/11 08:10 

# DoGMA：面向肿瘤学多组学对齐与多任务学习的中心法则引导基础模型  
来源：https://arxiv.org/html/2608.08148  
Junfei Ling1\equalcontrib, Bangzheng Pu1\equalcontrib, Bingsen Xue1\equalcontrib, Tianle Li2, Ruying Hu3, Cheng Jin1\corresponding  

###### 摘要  

注意力机制已被广泛应用于现代深度学习，许多现有的多组学模型也继承了其常规用法，以允许无限制的双向交互。然而，生命的基本逻辑是方向性的。现有设计往往忽略了中心法则所暗示的方向性，这可能限制模型在异质癌症、下游任务和不完整模态场景中的迁移能力。在本工作中，我们提出了DoGMA，一种用于泛癌多组学分析的中心法则引导基础模型，并认为稳健的迁移需要具有领域特定归纳偏置的表征。具体而言，我们基于Transformer-MoE架构构建模型，其中定向注意力将组学间通信偏向中心法则信息流。我们进一步通过掩码分层组学重建对模型进行预训练，引导其学习与中心法则一致的交互。在包括癌症表征学习、生存预测和转移预测在内的多种下游任务中，DoGMA consistently展现出强大的预测性能。消融实验和分析进一步表明，性能提升源于中心法则引导的定向注意力与基于重建的预训练之间的协同作用，二者共同促进了更具生物学一致性的跨组学信息交换。总体而言，DoGMA证明了领域特定归纳偏置能够提高多组学基础模型的鲁棒性和可迁移性，为多组学表征学习中的注意力机制设计提供了新见解。  

## 引言  

参见图注  
图1：DoGMA 概述。阶段1使用模态特定的VQ-VAE将异质组学图谱映射到统一的令牌空间。在阶段2中，可学习令牌表示缺失的组学数据，PubMedBERT对临床文本进行编码，堆叠的中心法则-MoE块将偏向DNA→RNA→蛋白质信息流的定向跨组学注意力与面向异质和不完整输入的模态特定路由相结合。掩码自重建和跨组学重建预训练主干，以恢复模态内部结构并推断缺失的分子状态。在阶段3中，学习到的表示迁移到癌症亚型分型、转移预测、生存分析和因果链分析。

注意力机制已在多模态神经网络中得到了充分验证（Bahdanau 等人，2014 (https://arxiv.org/html/2608.08148#bib.bib91); Vaswani 等人，2017 (https://arxiv.org/html/2608.08148#bib.bib56); Lu 等人，2019 (https://arxiv.org/html/2608.08148#bib.bib88); Chen 等人，2020 (https://arxiv.org/html/2608.08148#bib.bib89); Alayrac 等人，2022 (https://arxiv.org/html/2608.08148#bib.bib90)），其成功也促使多组学方法采用标准注意力来整合分子模态（Moon 和 Lee，2022 (https://arxiv.org/html/2608.08148#bib.bib93); Cai 等人，2024 (https://arxiv.org/html/2608.08148#bib.bib37); Liu 等人，2024 (https://arxiv.org/html/2608.08148#bib.bib86); Lan 等人，2024 (https://arxiv.org/html/2608.08148#bib.bib87)）。然而，这种直接移植忽略了一个关键区别：标准注意力通常被表述为一个无约束的双向交互过程（Schölkopf 等人，2021 (https://arxiv.org/html/2608.08148#bib.bib45); Cui 等人，2024 (https://arxiv.org/html/2608.08148#bib.bib46); Baltrušaitis 等人，2018 (https://arxiv.org/html/2608.08148#bib.bib34); Zeng 等人，2024 (https://arxiv.org/html/2608.08148#bib.bib67)），而生命的基本逻辑是方向性的（Crick，1970 (https://arxiv.org/html/2608.08148#bib.bib31); Li 等人，2023 (https://arxiv.org/html/2608.08148#bib.bib78)）。在中心法则下，信息主要从基因组和表观基因组调控传播到转录组和蛋白质组状态，仅有微弱的反馈和情境依赖的调控。因此，多组学依赖关系不仅仅是模态间的对称相关性，它们反映了一个有序的生物学过程，这一过程应当为模型设计提供依据。这种不匹配在多组学整合表征学习和下游迁移中尤为突出。首先，由于领域和测量平台效应，多组学数据具有高度异质性。在缺乏合理先验指导的情况下，无约束的跨模态注意力可能拟合队列特定的关联或模态特定的伪影（

相似文章