CADENCE：一种用于从心电图基础模型中可解释性神经概念提取的心脏原子词典

arXiv cs.AI 论文
biomedical-ai ecg interpretability sparse-autoencoder concept-extraction foundation-model

摘要

CADENCE 使用稀疏自编码器将心电图基础模型表示分解为可解释的生理概念，显著改善了与临床表型和波形形态的一致性。

arXiv:2607.25244v1 Announce Type: new 摘要：用于12导联心电图（ECG）的基础模型在临床任务中具有良好的迁移能力，但其表示中编码的生理知识仍然不透明。我们提出CADENCE，这是一个将心电图基础模型分解为人类可解释、可查询的生理概念词典的框架。通过使用BatchTopK稀疏自编码器，CADENCE将超过九百万个心电图标记的第六层嵌入分解为8192个稀疏心脏原子。这些原子与临床表型和波形形态的对齐程度优于单个密集嵌入维度，能够恢复心律失常、传导异常、梗死和复极模式、腔室和电轴发现，以及导联和搏动相位特定的波形原语。在第六层，最佳原子的临床表型平均AUROC为0.88，形态为0.90，而最佳密集维度的对应值分别为0.78和0.83。稀疏原子探针在表型、形态和年龄预测方面与密集探针相当或更优，同时将每个预测归因于一小部分可解释的原子；表型AUROC从0.93提升至0.95。原子空间几何恢复了生理上连贯的关系，有针对性的原子消融选择性地改变了冻结的下游输出。一个自动化的大型语言模型管道通过预测保留的激活来生成并定量验证原子描述。在独立的外部心电图数据集上，CADENCE恢复了重叠的概念，并保持一致的表型预测性能。CADENCE提供了一个可扩展的框架，用于发现和审计心电图基础模型编码的生理知识。
查看原文
查看缓存全文

缓存时间: 2026/07/29 09:54 

# CADENCE：用于从心电图基础模型中提取可解释神经概念的心脏原子词典
来源：https://arxiv.org/html/2607.25244
Yixuan Duan, Arjun Naik
计算机科学系，莱斯大学，休斯顿，德克萨斯州，美国
[email protected] (https://arxiv.org/html/2607.25244v1/mailto:[email protected])
Sadeer Al-Kindi
心脏病学系，休斯顿卫理公会医院，休斯顿，德克萨斯州，美国
[email protected] (https://arxiv.org/html/2607.25244v1/mailto:[email protected])
Wei Qiu
电气与计算机工程系，莱斯大学，休斯顿，德克萨斯州，美国
[email protected] (https://arxiv.org/html/2607.25244v1/mailto:[email protected])
(2027)

###### 摘要。
用于12导联心电图（ECG）的基础模型在临床任务中展现出强大的迁移能力，但其表征中编码的生理学知识仍然不透明，限制了其可解释性、可审计性和科学实用性。我们提出**CADENCE**（*用于可解释神经概念提取的心脏原子词典*），这是一个将ECG基础模型的潜在表征分解为人类可解释且可查询的生理学概念词典的框架。CADENCE使用BatchTopK稀疏自编码器，将从超过九百万个ECG标记中提取的第6层嵌入分解为8,192个稀疏的*心脏原子*。与原始密集嵌入空间的单个维度相比，学习到的原子与临床表型和波形形态的对齐程度显著更好。CADENCE恢复了广泛的心血管学概念，包括心律失常、传导异常、梗死和复极模式、腔室和电轴发现，以及导联和心动阶段特异性的波形基元。在第6层，表现最佳的原子在临床表型上达到平均AUROC为0.88，在波形形态上为0.90，而密集嵌入维度中最佳的平均AUROC分别为0.78和0.83。基于稀疏原子的探针在表型、形态和年龄预测方面达到或超过密集嵌入探针的性能，同时将每个预测归因于少量可解释的原子。在表型预测中，测试AUROC从密集嵌入空间的0.93提升至稀疏原子空间的0.95。此外，原子空间的几何结构恢复了生理上一致的关系，而对表型相关原子的靶向消融会在冻结的下游模型输出中产生选择性变化。一个自动化的大语言模型流水线生成原子描述，并通过预测未参与的原子激活来定量验证其描述。在独立的外部ECG数据集上，CADENCE恢复了重叠的生理学概念，并保持一致的表型预测性能。总之，这些发现确立了CADENCE作为一个可扩展的框架，用于发现和审计ECG基础模型编码的生理学知识，为科学分析和可信赖的临床AI提供透明基础。

稀疏自编码器，机制可解释性，基础模型，心电图（ECG），表征学习，概念发现，医疗中的可解释AI

††版权：无
††期刊年份：2027
††会议：第33届ACM SIGKDD知识发现与数据挖掘会议论文集；2027年8月1-5日；美国加利福尼亚州圣何塞
††ISBN：978-1-4503-XXXX-X/2027/08
††CCS：计算方法 → 学习潜在表征
††CCS：应用计算 → 健康信息学
††CCS：计算方法 → 神经网络
††CCS：信息系统 → 数据挖掘

## 1. 引言

![参考说明图1：CADENCE概述。(a) 词典构建。一个冻结的ECG基础模型将12导联ECG编码为补丁标记；BatchTopK稀疏自编码器*分解*该层（第6层）的表征xlx_{\ell}为稀疏的*心脏原子*，并*将其重建*为\^(x)l\hat{x}_{\ell}。(b) 临床知识发现。原子词典驱动三种分析：*概念发现*、*关系分析*和*基于概念的预测*。(c) 大语言模型辅助的原子注释。大语言模型根据其最高激活的ECG片段和几何结构描述原子，然后通过预测*未参与*的激活来验证描述。三部分示意图：(a) 一个冻结的ECG基础模型将12导联ECG编码；BatchTopK稀疏自编码器将一层的表征分解为心脏原子并重建；(b) 原子词典支持概念发现、作为网络的关系分析，以及可归因的基于概念的预测；(c) 大语言模型描述原子并通过预测未参与的激活来验证描述。](https://arxiv.org/html/2607.25244#S1.F1 "图1：CADENCE概述。(a) 词典构建。一个冻结的ECG基础模型将12导联ECG编码为补丁标记；BatchTopK稀疏自编码器*分解*该层（第6层）的表征xlx_{\ell}为稀疏的*心脏原子*，并*将其重建*为\^(x)l\hat{x}_{\ell}。(b) 临床知识发现。原子词典驱动三种分析：*概念发现*、*关系分析*和*基于概念的预测*。(c) 大语言模型辅助的原子注释。大语言模型根据其最高激活的ECG片段和几何结构描述原子，然后通过预测*未参与*的激活来验证描述。三部分示意图：(a) 一个冻结的ECG基础模型将12导联ECG编码；BatchTopK稀疏自编码器将一层的表征分解为心脏原子并重建；(b) 原子词典支持概念发现、作为网络的关系分析，以及可归因的基于概念的预测；(c) 大语言模型描述原子并通过预测未参与的激活来验证描述。")

心电图（ECG）是最广泛使用的心脏诊断测试，然而阅读心电图本身就是一项困难且需要大量专业知识的技能：临床决策信息隐藏于分布在十二个同步导联中的细微、毫秒级形态细节中，胜任的解释需要多年的培训（Salerno 等人，2003 ([https://arxiv.org/html/2607.25244#bib.bib45](https://arxiv.org/html/2607.25244#bib.bib45))），即使医生解读ECG也存在显著且多变的错误率（Cook 等人，2020 ([https://arxiv.org/html/2607.25244#bib.bib46](https://arxiv.org/html/2607.25244#bib.bib46))）。正因为原始信号对人类来说难以完全解析，自监督的ECG基础模型（FMs）——那些学习通用表征并迁移至数十个下游任务（心律失常检测、风险预测和筛查），通常仅需单个冻结主干的模型（Gu 等人，2026 ([https://arxiv.org/html/2607.25244#bib.bib1](https://arxiv.org/html/2607.25244#bib.bib1))；Na 等人，2024 ([https://arxiv.org/html/2607.25244#bib.bib2](https://arxiv.org/html/2607.25244#bib.bib2))；McKeen 等人，2024 ([https://arxiv.org/html/2607.25244#bib.bib3](https://arxiv.org/html/2607.25244#bib.bib3))）——具有吸引力，但它们也让可解释性变得更加重要，而非相反：理解此类模型编码的内容，对于信任和审计其预测以及作为一种揭示隐藏在信号中的生理结构的方法都具有价值。然而，这些收益来自高维嵌入，其内部结构不透明：从业者可以看到模型预测了左束支传导阻滞，但看不到表征编码了哪些生理证据。在临床环境中，这种不透明性构成了信任、审计和科学使用的障碍——我们无法轻易询问ECG FM它学到了关于心脏的什么知识。解释这些模型很困难，因为单个神经元是*多语义*的：网络可以表征的特征超过其维度数，将它们打包到*叠加*中，因此每个神经元响应多个无关特征，而不是清晰地对映到一个临床概念上。稀疏自编码器（SAE）可以解开这种叠加，将激活分解为大量稀疏、近似单语义的特征词典，并已在语言（Bricken 等人，2023 ([https://arxiv.org/html/2607.25244#bib.bib5](https://arxiv.org/html/2607.25244#bib.bib5))）、蛋白质（Simon 和 Zou，2025 ([https://arxiv.org/html/2607.25244#bib.bib9](https://arxiv.org/html/2607.25244#bib.bib9))）以及最近在基因组和单细胞基础模型——小型基因语言模型（Guan 等人，2025 ([https://arxiv.org/html/2607.25244#bib.bib47](https://arxiv.org/html/2607.25244#bib.bib47))）、单细胞转录组模型（Kendiukhov，2026 ([https://arxiv.org/html/2607.25244#bib.bib48](https://arxiv.org/html/2607.25244#bib.bib48))）和计算病理学基础模型（Kim 等人，2026 ([https://arxiv.org/html/2607.25244#bib.bib49](https://arxiv.org/html/2607.25244#bib.bib49))）——中揭示出可解释的结构。这种情况是否同样适用于生理时间序列基础模型——以及恢复的特征是否映射到真实心脏病学——仍有待探索。我们通过CADENCE（*用于可解释神经概念提取的心脏原子词典*）为12导联ECG回答了这个问题。如图1a所示，CADENCE在ECG基础模型（CSFM）的残差流上训练一个BatchTopK SAE，并将其6层补丁标记嵌入分解为约8,000个稀疏原子：编码器将每个嵌入分解为少数活跃原子，解码器重建它，因此词典对模型保真，却比原始神经元可解释得多。这将一个黑箱主干转变为用于知识发现的可查询基质。基于该词典，CADENCE驱动三种互补分析（图1b）。*概念发现*将每个原子与临床表型和波形形态关联，显示原子与心脏病学的对齐程度远优于原始神经元。*关系分析*直接从原子空间几何结构中解读出概念之间的生理上一致的关系，无需关系监督。*基于概念的预测*使用稀疏原子探针，其在表型、形态和年龄预测上匹配或超过密集嵌入，同时将每个预测归因于一组少量命名的原子。一个自动化的LLM流水线（图1c）随后根据其最高激活的ECG片段和激活几何结构描述每个原子，然后通过预测未参与的原子激活来验证描述，从而大规模生成人类可读、经定量检查的注释。最后，我们展示了冻结的MIMIC训练词典迁移至一个独立的、由心脏病专家标注的外部队列（PTB-XL）而无需重新训练，恢复了相同的生理学概念并保持表型预测性能。总之，这些发现确立了CADENCE作为一个可扩展的框架，将不透明的ECG基础模型转变为一个透明、可查询的生理学概念词典——这些概念被发现、关联、预测、自动描述并经过外部验证——为科学发现和可信赖的临床AI奠定了基础。我们的贡献包括：

- •据我们所知，我们是第一个打开心脏生理信号基础模型的人：我们展示了其不透明的高维嵌入可以从叠加状态中抽出，形成一个稀疏、近似单语义的特征词典，这些特征与临床心脏概念的对齐程度远优于模型的原始神经元。
- •我们引入了CADENCE，它在ECG基础模型的残差流上训练一个BatchTopK稀疏自编码器，将其分解为约8,000个稀疏的心脏原子，这些原子忠实地重建表征，却比原始神经元可解释得多。
- •在表型和形态预测方面，CADENCE探针匹配或超过密集嵌入上的探针，同时将每个预测归因于一组少量命名的原子——这些原子由一个自动化的LLM流水线大规模描述和验证。
- •CADENCE将不透明的ECG基础模型转变为一个可审计的、由生理学基础概念构成的词典：从业者可以检查表征编码了什么，将每个预测分解为命名的原子，并揭示混杂或捷径特征。

## 2. 相关工作

#### ECG基础模型。
对大规模未标注ECG语料库进行自监督预训练，现在产生了通用编码器，可迁移至心律失常检测、风险分层和筛查任务（Hannun 等人，2019 ([https://arxiv.org/html/2607.25244#bib.bib16](https://arxiv.org/html/2607.25244#bib.bib16))；Ribeiro 等人，2020 ([https://arxiv.org/html/2607.25244#bib.bib17](https://arxiv.org/html/2607.25244#bib.bib17))；Attia 等人，2019 ([https://arxiv.org/html/2607.25244#bib.bib18](https://arxiv.org/html/2607.25244#bib.bib18))），通常基于12导联记录（Gu 等人，2026 ([https://arxiv.org/html/2607.25244#bib.bib1](https://arxiv.org/html/2607.25244#bib.bib1))；Na 等人，2024 ([https://arxiv.org/html/2607.25244#bib.bib2](https://arxiv.org/html/2607.25244#bib.bib2))；McKeen 等人，2024 ([https://arxiv.org/html/2607.25244#bib.bib3](https://arxiv.org/html/2607.25244#bib.bib3))），使用掩码信号（He 等人，2022 ([https://arxiv.org/html/2607.25244#bib.bib33](https://arxiv.org/html/2607.25244#bib.bib33))）或对比目标（Kiyasseh 等人，2021 ([https://arxiv.org/html/2607.25244#bib.bib34](https://arxiv.org/html/2607.25244#bib.bib34))；Mehari 和 Strodthoff，2022 ([https://arxiv.org/html/2607.25244#bib.bib35](https://arxiv.org/html/2607.25244#bib.bib35))）。这些模型从单个冻结主干实现强大的下游准确性，但它们被当作黑箱使用：其嵌入是高维的，学习到的结构无法直接检查。我们的工作将此类模型视为给定的，并提出一个互补的问题：如何*读出*其已学习到的生理学概念。

#### 稀疏自编码器与机制可解释性。
解释神经表征的一个核心障碍是*叠加*：网络编码的特征数超过其维度数，因此单个神经元是多语义的，不与人类概念对齐（Elhage 等人，2022 ([https://arxiv.org/html/2607.25244#bib.bib4](https://arxiv.org/html/2607.25244#bib.bib4))）。稀疏自编码器（SAE）通过学习一个过完备、稀疏激活的词典来重建模型激活（Olshausen 和 Field，1996 ([https://arxiv.org/html/2607.25244#bib.bib19](https://arxiv.org/html/2607.25244#bib.bib19))），从而产生比神经元更单语义的特征（Bricken 等人，2023 ([https://arxiv.org/html/2607.25244#bib.bib5](https://arxiv.org/html/2607.25244#bib.bib5))；Cunningham 等人，2023 ([https://arxiv.org/html/2607.25244#bib.bib6](https://arxiv.org/html/2607.25244#bib.bib6))；Templeton 等人，2024 ([https://arxiv.org/html/2607.25244#bib.bib23](https://arxiv.org/html/2607.25244#bib.bib23))）。后续工作将SAE扩展到前沿语言模型，并改进了稀疏机制，包括固定活跃码预算并稳定训练的前k和BatchTopK公式（Makhzani 和 Frey，2013 ([https://arxiv.org/html/2607.25244#bib.bib20](https://arxiv.org/html/2607.25244#bib.bib20))；Gao 等人，2024 ([https://arxiv.org/html/2607.25244#bib.bib7](https://arxiv.org/html/2607.25244#bib.bib7))；Bussmann 等人，2024 ([https://arxiv.org/html/2607.25244#bib.bib8](https://arxiv.org/html/2607.25244#bib.bib8))），以及减少激活收缩的门控和JumpReLU变体（Rajamanoharan 等人，2024a ([https://arxiv.org/html/2607.25244#bib.bib21](https://arxiv.org/html/2607.25244#bib.bib21))，b ([https://arxiv.org/html/2607.25244#bib.bib22](https://arxiv.org/html/2607.25244#bib.bib22))）。我们采用BatchTopK SAE，但据我们所知，这是首次将其应用于生理时间序列基础模型，而非语言模型。

#### 使用SAE解释科学基础模型。
在语言之外，SAE最近被用于解释科学序列模型。InterPLM在蛋白质语言模型嵌入上训练SAE，恢复了数千个可解释的特征，这些特征映射到结合位点、结构基序和功能域（Simon 和 Zou，2025 ([https://arxiv.org/html/2607.25244#bib.bib9](https://arxiv.org/html/2607.25244#bib.bib9))）。相关工作在蛋白质语言模型上训练和评估SAE，以揭示通用和家族特异性特征，并提出机制性假设（Adams 等人，2025 ([https://arxiv.org/html/2607.25244#bib.bib10](https://arxiv.org/html/2607.25244#bib.bib10))）。在蛋白质之外，SAE已开始打开其他生物基础模型：单细胞转录组模型如Geneformer和scGPT（Kendiukhov，2026 ([https://arxiv.org/html/2607.25244#bib.bib48](https://arxiv.org/html/2607.25244#bib.bib48))）、基因语言模型（Guan 等人，2025 ([https://arxiv.org/html/2607.25244#bib.bib47](https://arxiv.org/html/2607.25244#bib.bib47))）和计算病理学图像模型（Kim 等人，2026 ([https://arxiv.org/html/2607.25244#bib.bib49](https://arxiv.org/html/2607.25244#bib.bib49))），每种情况都从不透明的嵌入中恢复了有生物学意义的特征。这些研究确立了SAE作为从表征走向科学基础模型生物学洞察的途径；我们将这一范式扩展到*生理信号*，其中特征额外携带导联特定空间和心搏阶段时间结构，并且生成式解码器使我们能够将原子回溯到波形。

#### 医学和ECG模型的可解释性。
先前ECG分类器的可解释性主要依赖于事后显著性图和归因图（Selvaraju 等人，2017 ([https://arxiv.org/html/2607.25244#bib.bib27](https://arxiv.org/html/2607.25244#bib.bib27))；Sundararajan 等人，2017 ([https://arxiv.org/html/2607.25244#bib.bib28](https://arxiv.org/html/2607.25244#bib.bib28))；Lundberg 和 Lee，2017 ([https://arxiv.org/html/2607.25244#bib.bib29](https://arxiv.org/html/2607.25244#bib.bib29))；Zhang 等人，2021 ([https://arxiv.org/html/2607.25244#bib.bib11](https://arxiv.org/html/2607.25244#bib.bib11))）、对隐藏层进行线性探测（Alain 和 Bengio，2016 ([https://arxiv.org/html/2607.25244#bib.bib26](https://arxiv.org/html/2607.25244#bib.bib26))），或基于概念和概念瓶颈模型（Kim 等人，2018 ([https://arxiv.org/html/2607.25244#bib.bib30](https://arxiv.org/html/2607.25244#bib.bib30))；Koh 等人，2020 ([https://arxiv.org/html/2607.25244#bib.bib31](https://arxiv.org/html/2607.25244#bib.bib31))）。显著性突出显示了*哪里*特定预测关注，但不揭示*什么*可重用概念被表征。

相似文章