立场：基因组模型研究必须超越对可解释性方法的偶发性评估

# 基因组模型研究必须超越轶事式评估可解释性方法
来源：https://arxiv.org/html/2606.07607
###### 摘要

机器学习和计算能力的进步释放了人类基因组的预测潜力，然而生物学家现在要求这些模型也能阐明潜在的生物学机制。虽然可解释机器学习（IML）技术越来越多地被用于弥合这一差距，但一直普遍依赖于轶事式验证：绝大多数研究依赖单一的IML方法，并且只报告孤立的成功案例。通过一项关于转录因子结合的系统基准测试研究，我们展示了当前实践的风险。我们表明，不同的IML方法通常可能(1)对同一预测产生矛盾的解释，(2)无法定位已知的调控基序，以及(3)未能忠实地反映模型内部的决策过程。鉴于此，我们主张建立一个类似于临床试验的验证框架：正如试验需要严格的设计和不良事件报告一样，基因组可解释性必须超越精挑细选的合理性，转向对一致性、忠实性和生物学有效性的系统性评估。为促进这一点，我们提出了一个分层框架，以指导对基因组IML方法进行严格的评估和报告。

机器学习，ICML

## 1 引言

理解基因组的语言，即序列变异如何塑造分子表型，是功能基因组学中一个长期存在的目标，支撑着从人类遗传学中非编码变异优先级排序（Avsec 等人，2021a（https://arxiv.org/html/2606.07607#bib.bib44）；Zhou 等人，2018（https://arxiv.org/html/2606.07607#bib.bib48）），到合成生物学中的理性设计（Vaishnav 等人，2022（https://arxiv.org/html/2606.07607#bib.bib72）），以及揭示疾病机制以发现治疗靶点（Gao 等人，2023（https://arxiv.org/html/2606.07607#bib.bib82））等广泛应用。为此，大量深度学习方法已经涌现（Zou 等人，2019（https://arxiv.org/html/2606.07607#bib.bib39）；Eraslan 等人，2019（https://arxiv.org/html/2606.07607#bib.bib40）；Barbadilla-Martínez 等人，2025（https://arxiv.org/html/2606.07607#bib.bib41）；Consens 等人，2025（https://arxiv.org/html/2606.07607#bib.bib42）；Yang 等人，2025（https://arxiv.org/html/2606.07607#bib.bib110）；Hu 等人，2026（https://arxiv.org/html/2606.07607#bib.bib111））。随着高通量功能分析（Melnikov 等人，2012（https://arxiv.org/html/2606.07607#bib.bib37）；Fowler 等人，2010（https://arxiv.org/html/2606.07607#bib.bib38））和蓬勃发展的计算能力的整合，这些深度神经网络（DNN）已经在各种基因组任务中实现了强大的预测能力，例如基因表达（Avsec 等人，2021a（https://arxiv.org/html/2606.07607#bib.bib44）；Zhou 等人，2018（https://arxiv.org/html/2606.07607#bib.bib48））、转录因子（TF）结合（Avsec 等人，2021b（https://arxiv.org/html/2606.07607#bib.bib43）；Alipanahi 等人，2015（https://arxiv.org/html/2606.07607#bib.bib45）；Zhou 和 Troyanskaya，2015（https://arxiv.org/html/2606.07607#bib.bib47））、增强子-启动子活性（de Almeida 等人，2022（https://arxiv.org/html/2606.07607#bib.bib46））等等。

然而，这些模型的预测成功并未伴随着对其内部工作原理的相应理解。由于其固有的复杂性（例如，拥有数百万到数十亿的参数），这些DNN通常被视为“黑箱”，对于给定的预测是如何做出的或学习了哪些生物学机制没有解释。为了应对这一挑战，各种事后可解释性方法已被用于阐明基因组DNN的预测（Novakovsky 等人，2023（https://arxiv.org/html/2606.07607#bib.bib87）；Chen 等人，2024（https://arxiv.org/html/2606.07607#bib.bib98））。

最普遍的是特征归因方法，如Saliency Maps（Simonyan 等人，2014（https://arxiv.org/html/2606.07607#bib.bib50））、DeepLIFT（Shrikumar 等人，2017（https://arxiv.org/html/2606.07607#bib.bib51））、ISM（Zhou 和 Troyanskaya，2015（https://arxiv.org/html/2606.07607#bib.bib47））和Integrated Gradients（Sundararajan 等人，2017（https://arxiv.org/html/2606.07607#bib.bib53）；Lundberg 和 Lee，2017（https://arxiv.org/html/2606.07607#bib.bib54）），它们量化序列变异对模型预测的位置特异性影响。除了这些主效应之外，基于交互的方法如integrated Hessians（Janizek 等人，2021（https://arxiv.org/html/2606.07607#bib.bib55））、SQUID（Seitz 等人，2024（https://arxiv.org/html/2606.07607#bib.bib57））和DFIM（Greenside 等人，2018（https://arxiv.org/html/2606.07607#bib.bib56））探究突变之间的上位性相互作用，而基于注意力的解释（Vig 等人，2021（https://arxiv.org/html/2606.07607#bib.bib11））和稀疏自编码器（SAE）（Bricken 等人，2023（https://arxiv.org/html/2606.07607#bib.bib105）；Cunningham 等人，2024（https://arxiv.org/html/2606.07607#bib.bib106）；Brixi 等人，2026（https://arxiv.org/html/2606.07607#bib.bib107））则检查基于transformer的基因组模型的内部计算。总的来说，这些技术实现了从基序发现和机制理解到从头设计和变异优先级排序等多种应用（Avsec 等人，2021b（https://arxiv.org/html/2606.07607#bib.bib43）；Alipanahi 等人，2015（https://arxiv.org/html/2606.07607#bib.bib45）；de Almeida 等人，2022（https://arxiv.org/html/2606.07607#bib.bib46）；Avsec 等人，2021a（https://arxiv.org/html/2606.07607#bib.bib44））。

尽管取得了成功，但在基因组学中如何严格评估和报告可解释性结果缺乏共识是一个重要问题。为了量化这一差距，我们对2010年至2025年间在基因组学中采用可解释机器学习（IML）的3,575篇论文进行了大规模映射研究。我们发现，绝大多数研究：(1) 依赖单一的IML方法且没有正当理由；(2) 通过异质的、通常是主观的方式验证解释；(3) 只报告“成功”的案例而省略失败案例（第2节（https://arxiv.org/html/2606.07607#S2））。

此外，通过一项关于转录因子结合预测的系统基准测试研究，我们证明了这些做法会产生切实的后果。我们表明：(a) 不同的IML方法产生极不一致的解释；(b) 这些解释通常未能反映模型的实际决策过程；(c) 结果经常与已知的生物学机制不一致——在具有挑战性的任务上，即使挑选“成功”的例子仍然很容易，但真实结合位点的恢复率几乎为零（第3节（https://arxiv.org/html/2606.07607#S3））。

由于严格的评估是科学进步的基石，我们认为基因组学研究人员必须超越轶事证据，在依赖IML方法的输出之前对其进行系统性评估。

立场：基因组深度学习的可信度因依赖轶事式评估可解释性而受到损害。我们证明，当前的做法——以单一方法使用和精挑细选的例子为特征——未能揭示解释经常不一致、对模型不忠实以及在生物学上具有误导性。我们认为，该领域必须超越主观的“合理性”走向系统性探究。我们提出了一个分层框架来严格评估基因组解释的一致性、忠实性和生物学有效性。

## 2 现有实践映射

参见说明
图1：系统性映射揭示了对轶事式评估实践的依赖。(a) 每项研究中采用的IML方法数量分布（n=3,575，所有面板相同）。(b) 验证策略的细分。(c) 每篇论文中验证过的解释实例的频率。(d) 失败模式的报告。
为了建立对基因组学中IML评估和报告现有实践的广泛理解，我们进行了一项全面的、数据驱动的映射研究。

### 2.1 方法

我们首先在Web of Science（WoS）数据库中搜索那些明确提到在基因组学中使用IML方法的论文，通过应用以下搜索查询。我们将此查询应用于论文摘要，以优化覆盖范围与相关性之间的权衡。

(
   ("可解释性" OR "可解释性"
    OR "可解释AI" OR "XAI"
    OR "特征重要性" OR "LIME"
    OR "特征归因*" OR "SHAP"
    OR "显著性" OR "注意力机制" OR "模型解释*")
  AND
   ("基因组学" OR "基因组" OR "DNA" OR "RNA"
    OR "蛋白质" OR "基因表达"
    OR "测序" OR "转录组学"
    OR "蛋白质组学")
  AND
   ("机器学习" OR "深度学习"
    OR "神经网络*" OR "Transformer"
    OR "基础模型*"
    OR "语言模型*" OR "预测*")
)

此搜索得到了2010年至2025年间发表的3,575篇论文。全文文章通过机构订阅、开放获取存储库和预印本服务（如可用）的组合获取。由于这些论文数量太大，无法进行人工审查，受Huang等人（2025a（https://arxiv.org/html/2606.07607#bib.bib80））启发，我们提示了一个gemini-3-flash-preview模型（以平衡成本与准确性）从每篇全文文章中提取结构化信息。具体来说，对于每篇论文，我们提取：

- · 使用的IML方法类型和数量。
  - – 是否有与此选择相关的任何理由？
- · 执行的IML验证类型（例如，视觉检查、查询领域特定数据库或通过湿实验？）
- · “成功”实例的数量，定义为作者声称IML输出与既定领域知识一致的案例（例如，归因突出显示了已知的TF结合基序，或者识别的标记基因与已知细胞类型匹配）。
  - – 是否有关于失败实例及其分析的报告？

为了最大化提取质量，我们采用了少样本上下文学习（ICL），锚定10个人工策划的演示，并使用自我反思提示以避免幻觉（详见附录A（https://arxiv.org/html/2606.07607#A1））。我们还随机抽样了100篇论文，其中一位作者手动验证了模型输出，总体一致率为98%（见附录B（https://arxiv.org/html/2606.07607#A2）中的表2（https://arxiv.org/html/2606.07607#A2.T2）了解每类别的细分）。

我们的分析揭示了在基因组学研究中如何评估和报告IML方法的几个令人担忧的模式。首先，绝大多数研究（86%）只使用了一种IML方法（图1（https://arxiv.org/html/2606.07607#S2.F1）a），没有与其他解释技术进行比较，也没有说明为什么所选方法在这种情况下更合适。这种缺乏交叉方法验证使得难以评估所报告解释的稳健性或可靠性。

其次，也许是最令人担忧的，我们观察到验证实践中的巨大异质性（图1（https://arxiv.org/html/2606.07607#S2.F1）b）。引人注目的是，近一半的研究依赖于主观的视觉检查（例如，高亮区域是否与已知的结构接触点相对应）。其余研究主要依赖于间接代理，如ChIP-seq峰或简化的合成数据集，而只有2.81%进行了湿实验来验证见解。

第三，大多数论文只报告了1–3个“成功”实例，其中IML输出与已知生物学一致（图1（https://arxiv.org/html/2606.07607#S2.F1）c），这引发了对挑选结果的担忧。此外，这些论文通常不披露是否检查了额外的实例，也不披露是否有什么解释与预期不符（图1（https://arxiv.org/html/2606.07607#S2.F1）d）。

这种轶事证据为评估IML能力提供了一个有问题的基础。选择性报告有利案例可能会夸大这些方法的可靠性，可能在实际从业者中培养过度的信心。在高风险的基因组学应用中——实验验证可能代价高昂——过度依赖评估不充分的IML方法可能导致资源的大量错配，以及更关键的是，错误的生物学结论。

## 3 当前实践的后果：一项实证审计

上述映射研究揭示了基因组IML的评估严重依赖于轶事证据。为了超越抽象批评并具体展示这些做法的风险，我们进行了一项有针对性的实证审计。我们设计了一个受控的案例研究来说明当忽略严格验证时出现的三种特定失败模式：(1)不一致性，即方法产生矛盾的解释；(2)不忠实性，即解释与模型逻辑脱钩；以及(3)生物学错位，即“合理”的解释未能匹配因果真实情况。

实验设计。我们将审计锚定在转录因子（TF）结合预测上（Feng 等人，2025（https://arxiv.org/html/2606.07607#bib.bib97）；Avsec 等人，2021b（https://arxiv.org/html/2606.07607#bib.bib43）；Vorontsov 等人，2025（https://arxiv.org/html/2606.07607#bib.bib90）），这是调控基因组学中的一个经典任务。我们没有聚合宽泛的指标，而是特意从ENCODE（https://www.encodeproject.org/）数据库中策划了五个TF作为不同的压力测试，以探测IML有效性的边界：

- · 阳性对照（CTCF, MAX）：我们包含这些因子是因为它们结合长且高信号的基序。它们代表了任何有效的解释方法必须成功的“简单”案例。
- · 组成偏向测试（SP1, TBP）：为了测试方法是检测特定的调控语法还是仅仅“捷径学习”背景频率，我们选择了SP1（靶向GC-rich岛屿）和TBP（靶向AT-rich启动子）。
- · 分辨率测试（GATA1）：我们选择GATA1来测试基于token架构的空间精度，因为它结合一个短（约6 bp）且通常是简并的基序。

对于每个转录因子，我们从ENCODE收集高置信度的narrowPeak文件。每个峰被表示为以峰顶为中心的固定长度DNA序列。阳性样本对应于实验验证的结合区域。阴性样本是从不重叠已调用峰的匹配基因组区域生成的，并控制了染色体分布和序列长度。

表1：每个TF的数据集统计。Ground Truth表示用于可解释性评估的带有UniBind基序注释的序列总数（跨分割）。
为了确保这些压力测试在统计上是稳健的，我们构建了一个大规模基准，包括大约289,000个训练序列和11,500个测试序列（总结在表1（https://arxiv.org/html/2606.07607#S3.T1）中）。我们严格按染色体分割数据，完全保留9号染色体用于测试以防止信息泄漏。关键的是，这种规模使我们能够超越对精选例子的定性检查；我们利用超过88,000个带有注释基序位置的序列来系统地量化可解释性性能。

我们在三个不同的基因组基础模型上复制了这项审计——DNABERT-2（Zhou 等人，2022（https://arxiv.org/