利用基于图的工具改进小型语言模型中的分子性质预测

# 利用基于图的工具改进小语言模型中的分子性质预测
来源：https://arxiv.org/html/2607.13115
\\copyrightclause

版权所有归本文作者所有。根据知识共享署名4.0国际许可协议（CC BY 4.0）允许使用。

\\conference

第二届因果神经符号人工智能（Causal NeSy）：迈向具备神经符号与基于图推理能力的代理型大语言模型

[orcid=0000-0002-1910-2758, [email protected], ]\\fnmark[1]\\cormark[1]

[orcid=0000-0002-3434-2717, ]\\fnmark[1]

[]\\cortext[1]通讯作者。\\fntext[1]这些作者贡献相同。

Konstantinos BougiatiotisInstitute of Informatics and Telecommunications, National Center for Scientific Research "Demokritos", Athens, GreeceGeorgios Paliouras

(2022)

###### 摘要

小语言模型（SLMs）在基于SMILES字符串的零样本分子性质预测中展现出潜力，但由于序列表示未能充分编码关键的图拓扑线索，它们常常遭受**结构盲视**问题。我们提出一个模块化的**上下文增强提示**框架，该框架能够在推理时实现代理型工具使用：一个经过训练的GNN专家模型提供带有置信度的预测提示，而GNNExplainer则提取出实例特定的解释性子图（例如，一个子图SMILES和一段伴随的解释性段落）。我们在MUTAG和Tox21数据集上，使用五种提示配置（从仅SMILES到使用所有可用工具）评估了三种常用SLM。在两个数据集中，用图推导的上下文丰富提示能带来显著的准确率提升，通常超过25%的相对改进，在Tox21上最高达74%。我们进一步通过基于必要性的边丢弃干预来验证所提取基序的功能相关性。尽管取得了这些提升，但与专门的GNN模型之间仍存在持续差距，这突出了基于文本推理用于分子结构建模的价值与局限性。

###### 关键词:

分子性质预测\\sep小语言模型（SLMs）\\sep图神经网络（GNNs）\\sep可解释性

## 1 引言

分子性质预测（MPP）仍然是药物发现流程中的一个基础挑战[drug_pipe,drug_pipe1,drug_pipe2]，其中化学化合物的准确分类决定了设计-制造-测试-分析循环的效率。传统上，图神经网络（GNNs）已成为这些任务的最先进方法，因为它们能够直接模拟分子的拓扑结构[gnn_mols,gnn_mols1,gnn_mols2]。然而，尽管具有预测能力，GNNs通常作为“黑盒”运行，为其输出提供很少的人类可解释理由，这限制了它们在高风险的药物化学决策中的实用性[xai_survey,xai_survey1]。

与此同时，大语言模型（LLMs）已在各个科学领域展示出令人惊讶的零样本推理能力。在化学背景下，LLMs通常通过简化分子线性输入规范（SMILES）[smiles1]来处理分子。虽然SMILES提供了紧凑的字符串表示，但它是一种基于序列的抽象，常常无法编码复杂的二维分支和空间关系。先前的研究[llm_mols,llm_mols1]表明，LLMs难以克服“结构盲视”问题，导致当性质预测依赖于特定局部基序或全局连接时性能不稳定。

为了解决这些局限性，并展示当语言模型能够访问基于专家的工具时可能表现出的改进，我们提出了一个**上下文增强提示**框架，该框架利用GNN模型将语言模型的推理锚定在由GNN解释器识别的最具影响力的子图上。通过提取由GNN专家给出的因果结构子图，并将其作为关于化学性质的“提示”，我们为小语言模型（SLMs）提供了原始SMILES字符串所缺乏的结构上下文。

在这项工作中，我们在两个基准数据集MUTAG[mutag]和Tox21[tox21]上评估了三种突出的SLM：Llama 3.2（3B参数）[llama]、Qwen 2.5（3B参数）[qwen2.5]和DeepSeek（在16B混合专家架构中有2.4B激活参数）[deepseek]。我们的实证发现表明，在基线SMILES提示基础上融入结构化上下文信息可以带来有意义的性能改进（几乎所有情况下相对改进超过25%）。然而，这种解释的有效性似乎严重依赖于底层语言模型架构，参数较小的模型在某些任务上显示出有限或不一致的提升。此外，尽管经过GNN增强的SLM受益于图推导提示的整合，但它们未能达到专门GNN架构的性能，这突显了仅通过基于文本推理来完全捕捉结构信息所面临的持续挑战。本研究的主要贡献总结如下：

- •**一种上下文增强提示框架**：我们提出了一种策略，通过整合GNN推导的提示，弥合基于图的结构学习与基于序列的SLM推理之间的鸿沟。
- •**解释效能的量化**：我们分析了GNN推导信号对SLM性能的影响，表明虽然这种上下文可以显著提高预测准确率，但收益依赖于数据集和模型，并且文本增强的SLM与专门GNN架构之间仍存在可测量的差距。
- •**SLM比较基准**：我们提供了三种最先进SLM在分子分类任务上的实证评估，揭示了不同模型架构中固有的不同程度“结构盲视”。

## 2 相关工作

### 2.1 化学中的结构表示学习

分子性质预测（MPP）的演变已从手工设计的分子描述符和指纹（如ECFP[Rogers2010]）转向深度表示学习。图神经网络（GNNs），包括图卷积网络（GCN）[gcn]和图同构网络（GIN）[Xu2019]，通过将分子视为拓扑图，被广泛采用于分子表示学习。虽然这些模型擅长捕捉局部和全局化学环境，但其内部表示仍然是非符号化的，使得从业者难以提取可操作的化学洞察。

### 2.2 图神经网络的可解释性

为了解决GNNs的不透明性，人们提出了各种事后解释方法。诸如GNNExplainer[Ying2019]和PGExplainer[Luo2020]等工具能够识别对特定预测贡献最大的最有影响力子图（基序）。然而，将这些数值重要性分数转化为人类可理解的推理仍然是一个挑战，本研究通过使用SLMs作为语言接口来解决这个问题。

### 2.3 用于分子推理的大语言模型

最近的进展见证了LLMs通过SMILES字符串处理应用于化学领域。像Galactica[Taylor2022]和MolT5[Edwards2022]这样的模型证明了在大型科学语料库上进行预训练能够实现基本的性质预测。然而，对通用模型（如Llama 3和GPT-4）的研究揭示了一个“SMILES到结构”的鸿沟：这些模型常常无法可靠地重建或推理底层分子图的拓扑结构[chembert]。我们的工作在此基础上，测试了显式的结构“提示”是否能减轻这种序列偏差。

### 2.4 混合GNN-SLM集成

新兴研究探索了图编码器与语言模型的对齐，通常通过对比学习或投影层来实现，这类工作包括MolCA[Molca]或MolLM[MolLM]。与这些计算成本高昂的架构集成不同，我们的方法聚焦于**上下文增强提示**。这种方法保留了最先进SLM的冻结权重，并研究由模型识别出的最有影响力子结构表示的GNN推导解释信号，在多大程度上有助于缓解模态差距。请注意，这种策略对于实际部署来说更易访问且更具模块化。

## 3 方法论

### 3.1 问题设定

我们研究基于文本表示的二元分子性质预测。每个分子以一个SMILES字符串 `s` 提供，目标标签为 `y ∈ {0,1}`，表示该分子在数据集定义下是否具有毒性/致突变性。我们的目标是通过启用**代理型工具使用**来改进SLMs在此任务上的零样本性能：在推理时，SLM可以查询一个经过学习的图专家和解释工具，来获取SMILES序列中原本缺失的结构化上下文。

### 3.2 上下文增强提示框架

如图1所示，我们的框架采用了一种代理型架构，其中SLM作为推理控制器，利用工具与GNN专家进行交互。

参考图注图1：提出的代理循环。给定查询SMILES，SLM调用一个或多个可用工具与预训练的GNN专家交互，以生成相关上下文并增强原始提示，为最终推理提供帮助。首先，让一个由SMILES `s` 表示的分子对应一个分子图 `G = (V, E, X)`，其中 `V` 为原子，`E` 为键，`X` 为节点特征（例如，原子类型、化合价、芳香性）。我们假设有一个可用的预训练GNN（专家）模型 1，它可以在每个数据集的训练集上进行训练，`G` 是一个分子图，`ŷ ∈ {0,1}` 且 `p̂ ∈ [0,1]` 是模型置信度。我们将推理建模为单步代理循环：给定输入的SMILES字符串 `s`，SLM可以调用返回以下内容的工具：(1) 专家预测和置信度 `(ŷ, p̂)`，(2) 确定的解释性子图 `G_c`，以及 (3) 从子图推导的自然语言理由 `r`。具体来说，我们定义了三个主要工具，SLM可以调用它们来增强其零样本推理：

- • **ExpertPredict(`s`)** ：将 `s` 映射为 `G`，从预训练的GIN返回 `(ŷ, p̂)`。
- • **ExplainSubgraph(`s`)** ：使用相同的GIN，通过GNNExplainer[Ying2019]返回一个解释性子图 `G_c`（以子图SMILES `s_c` 的形式）。
- • **ChemReason(`s`, `s_c`, `ŷ`, `p̂`)** ：使用一个简短的面向化学的解释模板提示，指示SLM推理为什么基序 `s_c` 可能支持毒性/致突变性。实际上，我们将其实现为一个指令块，并让SLM自身生成理由；从概念上讲，它是一个推理模块的工具接口。

为了避免从更大的教师模型中引入外部知识偏差，每个SLM模型本身被用于生成理由（即ChemReason），确保性能增益严格来自于模型基于GNN推导证据进行自身推理的产物。

关于ExplainSubgraph，我们通过GNNExplainer提取每个实例的解释性子图，作为边重要性掩码 `m ∈ [0,1]^|E|`。然后我们定义候选因果子图 `G_c = (V_c, E_c), E_c = {e ∈ E: m_e ≥ τ}`，其中阈值 `τ` 为每个模块动态选择，使得 `E_c` 只包含边重要性分数在前10%的边。也就是说，指定的子图 `G_c` 只包含由GNNExplainer识别的图中最重要边的前10%。为了使 `G_c` 能够被纯文本SLM消费，我们将其转换为一个SMILES字符串（记为 `s_c`）。

### 3.3 提示配置

使用上述工具，我们评估了五种提示配置，它们对应着越来越丰富的工具输出。所用的变体如下所示（这些不同提示配置的精确文本见附录A）：

1. **SMILES（基线）**。输入仅包含SMILES字符串 `s`。
2. **SMILES + 子图**。输入包含 `s` 和提取的子图SMILES `s_c`。
3. **SMILES + 提示**。输入包含 `s` 和GNN专家输出 `(ŷ, p̂)` 作为“领域专家提示”（即，GNN标签预测和置信度百分比）。
4. **SMILES + 推理**。输入包含 `s` 和关于基序相关性 `r` 的简短自然语言理由（由SLM在给定 `s` 和 `s_c` 时生成）。
5. **全部上下文**。输入包含 `s`、`(ŷ, p̂)`、`s_c` 和理由 `r`。

## 4 实验与讨论

### 4.1 实验设置

我们在两个标准分子分类基准上评估我们的框架：MUTAG[mutag]和从Tox21[tox21]中随机抽取的1000个样本子集。MUTAG包含188种标记为致突变性的硝基芳香族和杂芳香族化合物，是图基分子分类的一个小型基准。Tox21是一个多标签毒性基准，涵盖多个生物靶标；我们抽取1000个分子，并将任务转化为二元分类，如果一个分子有任何阳性毒性标签，则将其标记为阳性。对于每个数据集，我们使用70/30的训练/测试划分。重要的是，该划分**仅**用于训练GIN专家。SLMs以零样本方式仅在测试部分上进行评估。数据集的总体特征见表1。

表1：数据集特征。
| 数据集 | # 分子/图 | 平均节点数 | 平均边数 | 正样本比例 (%) |
|--------|-----------|------------|----------|----------------|
| MUTAG | 188       | 18.03      | 39.80    | 67             |
| Tox21  | 1000      | 18.37      | 38.99    | 37             |

对于GNN专家，我们跨数据集采用通用的GIN设置以减少混淆：3个消息传递层，隐藏维度64，学习率 `2·10^{-3}`，训练最多100个epoch并早停。我们保留训练划分的10%用于验证，早停耐心值为10。

### 4.2 小语言模型

我们评估三种不同架构和容量范围的SLMs：DeepSeek (Lite-Code)，一个混合专家模型，总参数16B，激活参数2.4B；Qwen 2.5 (Code)，3B参数；以及Llama 3.2，也是3B参数。DeepSeek针对以代码为中心的指令遵循和结构化推理进行了优化。Qwen 2.5同样调优用于逐步生成和稳健格式，使其非常适合基于证据的决策提示。Llama 3.2作为通用基线，使得我们可以在相同的零样本提示下比较代码调优模型与更广泛训练的对话模型。所有模型均以零样本模式在数据集的测试集上评估，使用每个配置的固定提示。我们报告每个提示配置的分类准确率（%）。

### 4.3 主要结果

表2总结了不同提示配置和两个数据集上的准确率。

表2：不同提示配置下的模型准确率（%）。每个SLM和数据集的最高准确率以粗体标出。“改进”行表示ALL CONTEXT配置相对于基线SMILES提示的相对百分比增益。
| 配置                | MUTAG                  | Tox21                    |      |      |
|-------------------|------------------------|--------------------------|------|------|
|                   | DeepSeek | Qwen 2.5 | Llama 3.2 | DeepSeek | Qwen 2.5 | Llama 3.2 |
| SMILES            | 56.14    | 55.36    | 47       |      |      |