回归基础：通过SMILES-图翻译提升LLM的分子理解

# 回归基础：通过 SMILES–图谱翻译提升大语言模型的分子理解  
**来源：** https://arxiv.org/html/2607.03007  

**Wenda Wang**  
中国人民大学高瓴人工智能学院  
北京，中国  
wangwenda87@ruc\.edu\.cn  

**Jinjia Feng**  
中国人民大学高瓴人工智能学院  
北京，中国  
jinjia\_feng@ruc\.edu\.cn  

**Zhewei Wei**  
中国人民大学高瓴人工智能学院  
北京，中国  
zhewei@ruc\.edu\.cn  

###### 摘要  
近期分子大语言模型的进展在分子理解和生成任务上取得了强劲性能，然而这些提升往往缺乏可靠的结构基础。特别是，现有方法与“结构决定功能”的化学原理相矛盾：尽管在下游任务中表现出色，当前的分子LLM在基础结构识别上表现不佳，表明它们未能从规范SMILES中捕获分子图结构。为此，我们提出 MolBasic，一种以结构为先的框架，通过 SMILES–图谱翻译来加强结构理解。MolBasic 围绕一个多层次结构感知基准构建，其中双向 SMILES–图谱转换作为核心任务，用于对齐序列表示和拓扑表示。在此基础之上，我们采用渐进式学习机制，结合标准化的思维链，引导模型从结构获取走向更高级的分子推理。实验表明，MolBasic 显著提升了结构理解能力，并在下游任务（包括属性预测和目标优化）上取得了稳健的提升，支持了我们的结构优先范式。  

**回归基础：通过 SMILES–图谱翻译提升大语言模型的分子理解**  

Wenda Wang  
中国人民大学高瓴人工智能学院  
北京，中国  
wangwenda87@ruc\.edu\.cn  

Jinjia Feng  
中国人民大学高瓴人工智能学院  
北京，中国  
jinjia\_feng@ruc\.edu\.cn  

Zhewei Wei  
中国人民大学高瓴人工智能学院  
北京，中国  
zhewei@ruc\.edu\.cn  

## 1 引言  

通过结构分析理解分子特性与性质，并针对特定目标设计分子，一直是生物化学研究的核心焦点。这项努力对于推进药物机制研究和新型药物设计具有根本重要性。随着大语言模型（LLMs）在学习和推理方面的持续提升，越来越多的研究开始探索如何利用这些模型中嵌入的领域知识来处理分子理解任务。与人工分析相比，LLMs 在成本和效率方面具有明显优势，使其成为这一目标的理想工具。因此，开发一个能够进行分子化合物结构理解与推理的“AI化学家”至关重要。  

参见图注  
图1：使用从 PubChem (Kim et al., 2023) 采样的试点数据集，对通用型与专业型分子 LLM 在基础结构理解任务（原子计数和键计数）上的初步评估。结果显示，当前 LLM 未能从 SMILES 中捕获基本的图结构信息。  

参见图注  
图2：先前的分子理解范式与我们的 MolBasic 框架之间的对比。  

通用型 LLM，如 GPT (Floridi 和 Chiriatti, 2020; OpenAI, 2023)、Qwen (Bai et al., 2023)、T5 (Raffel et al., 2020)、InternLM (Team, 2023)、Vicuna (Zheng et al., 2023) 和 ChatGLM (GLM et al., 2024)，在预训练过程中从多个领域获取知识，因此具备一定的分子理解能力。然而，它们的知识主要源于与分子相关的医学或生物学文本，这使得它们拥有基本的知识检索能力，而非真正的结构理解。当然，具有强大推理和数学能力的模型，例如 GPT-5 (Singh et al., 2025)，可以通过工具调用和数学计算实现分子理解。另一方面，分子专业型 LLM 是基于 LLM 的分子理解的主流方法。现有研究主要集中在两个方向：(i) 设计有利于模型理解的分子表示——例如，HIGHTChen (Chen et al., 2024a) 在原子和亚结构（motif）级别使用多级分子表示，以突出子图级特征；而 InstructMol (Cao et al., 2025) 和 MoMu (Su et al., 2022) 则使用图编码器将分子图嵌入为输入 tokens；(ii) 在基础模型上设计领域特定的后训练任务——例如，MolT5 (Edwards et al., 2022) 替换 SMILES 与文本之间的损坏片段，Atomas (Zhang et al., 2025) 和 MoleculeSTM (Liu et al., 2023b) 对齐 SMILES-文本 token 表示，而 GIMLET (Zhao et al., 2023) 和 ChemLLM (Zhang et al., 2024) 专注于化学问答。  

当前的分子 LLM 似乎已取得了显著进展，在常见的分子理解任务（包括分子描述、属性预测、反应预测以及（条件）分子生成）上表现强劲。然而，我们的初步实验（如图1所示）揭示，无论是通用型还是专业型模型，在基本结构感知任务（如重原子计数和键计数）上的表现都出奇地差。尽管先前的 SMILES 解析方法 (Jang et al., 2025; Hao et al., 2026) 试图通过学习局部句法模式或子结构级特征来改善化学理解，但它们在建立序列 SMILES 与完整二维分子图之间的显式等价关系方面仍显不足。这表明当前的 LLM 未能捕获规范 SMILES (Weininger, 1988) 下隐藏的图结构信息——而这些信息对于后续的分子推理至关重要，且是人类化学家对分子最自然、最直接的认知。这些发现表明，当前分子 LLM 的理解范式与化学中广泛接受的“结构决定功能”原理相矛盾。我们认为，分子 LLM 不应在对化学文本进行简单预训练后立即学习高级任务，因为这种方法缺乏逻辑可解释性。相反，它们应首先致力于建立对分子结构的清晰理解，然后再进行下游推理任务。  

基于上述进展与问题，我们提出 MolBasic（基本结构识别与理解），一个回归基础的框架，将分子理解立足于基础结构理解。以 SMILES–图谱互转为核心任务，MolBasic 使得 LLM 能够建立序列表示与拓扑分子表示之间的等价关系，为更高级的推理奠定坚实基础。我们的贡献可概括如下：  

- **结构优先推理**：我们构建了一个多层次的分子结构理解基准（MSC），包含八项任务，以 SMILES–图谱互转为核心任务，评估 LLM 对基础二维图谱的感知能力，以实现可靠的下游推理。  
- **渐进式框架**：我们提出一个阶梯式推理框架，模拟人类化学家的认知过程，从结构逐步推进到性质，再到优化。针对每个阶段，我们设计了结合强大 LLM 与专家知识的思维链协议，以增强基于结构的推理能力。  
- **增强的推理能力**：通过在结构属性预测、分子目标优化和少样本生物活性预测任务上的充分实验，我们展示了结构优先推理和逐步框架的优越性能及实际适用性。图2展示了我们的范式与先前方法在分子理解上的对比，突出了关键区别。  

## 2 相关工作  

### 2.1 分子理解  

早期的方法采用任务特定的架构，如 GNNs (Kipf, 2016; Veličković et al., 2017; Ying et al., 2021) 用于属性预测，以及序列模型 (Sutskever et al., 2014; Irwin et al., 2022) 用于分子优化。最近，分子 LLM 通过化学预训练 (Zeng et al., 2022; Zhao et al., 2023)、指令微调 (Fang et al., 2023; Zhang et al., 2024; Xian et al., 2025) 或多模态融合 (Li et al., 2025) 实现了跨任务的通用化。相比之下，我们的工作专注于后训练 LLM，以增强其结构感知推理能力，强化对分子结构的内部理解作为下游推理的基础，而非对齐化学文本或增强检索能力。  

### 2.2 LLM 的推理增强  

思维链（CoT）推理已从一种提示技术 (Wei et al., 2022; Kojima et al., 2022) 发展为高级 LLM 的核心能力。OpenAI o1/o3 (Jaech et al., 2024) 和 DeepSeek-R1 (Guo et al., 2025) 在训练中融入了长链 CoT，而 GPT-5 (Singh et al., 2025) 进一步集成了一个智能路由器，可针对复杂查询自动调用深度推理。渐进式学习借鉴了课程学习 (Bengio et al., 2009)，通过根据任务依赖性和难度组织训练来增强推理 (Xu et al., 2020)，在数学问题解决 (Lightman et al., 2023) 和多跳推理 (Press et al., 2023) 中已被证明有效。在我们的工作中，我们将强推理模型的 CoT 与专家知识相结合，提出了阶梯式渐进学习框架，从基础任务开始，遵循人类化学家的推理过程。  

## 3 方法  

参见图注  
图3：MolBasic 框架概览。  
**左侧**：阶梯式学习路径分为三个阶段：(1) 通过 MSC 基准在节点、边和图级别进行结构理解；(2) 结构属性预测：从结构特征推断分子属性；(3) 目标分子优化：修改分子以获取期望属性。  
**右侧**：每个任务的两阶段训练策略，其中阶段1（答案学习）建立正确的输出锚点，阶段2（推理学习）融入从强推理模型蒸馏的思维链监督。  

MolBasic 的完整工作流程如图3所示。在 3.1 节中，我们介绍了旨在让 LLM 理解分子结构的结构理解基准。3.2 节提出了我们的分子理解阶梯式学习框架。3.3 节描述了分子理解任务中推理思维链的设计。3.4 节详细阐述了全面的训练策略。  

### 3.1 多层次结构理解基准  

规范 SMILES 是分子 LLM 的主要输入，因其基于文本的格式便于分词。然而，大多数现有模型将 SMILES 视为纯文本序列，与文本输入进行全局语义对齐，充其量在亚结构或基序级别进行匹配。对于人类化学家而言，SMILES 表示中编码的更关键信息是分子图结构。因此，为了使 LLM 能够更精确而非表面地理解和分析分子结构，模型必须首先学习规范 SMILES 与二维分子拓扑之间的等价关系，并能够正确表述该图结构的细节（如节点和边信息），这是化学推理的基础。基于这一动机，我们构建了一个多层次结构理解问答基准（MSC），赋予分子 LLM 解析 SMILES 并理解 SMILES-图谱等价关系的能力。我们的基准包含八个任务 `T_struct = {T1, T2, …, T8}`，按三个层级组织。在节点级别，模型需要识别重原子数量以及特定原子类型的数量。在边级别，我们通过查询总键数以及特定键类型的数量来评估模型是否理解分子连接性。在图级别，分子式转换作为对节点和边理解的综合评估，因为模型必须统计每种原子类型，并根据重原子连接性推断氢原子数量，以满足化学价规则。亚结构识别也至关重要，因为官能团通常作为分子功能的基本单元。最重要的是，我们设计了规范 SMILES 与文本化图邻接列表之间的双向转换任务，使 LLM 能够直接学习分子表示与二维图结构之间的等价关系。我们处理了 PubChemSTM 数据集 (Kim et al., 2023; Liu et al., 2023b)，获得了 185,286 个有效分子。详细的数据集划分在 4.1 节中描述。  

### 3.2 阶梯式学习框架  

为了确保更高级的分子推理建立在可靠的结构理解之上，我们将分子任务组织成一个**阶梯式学习框架**，明确建模它们之间的依赖关系。我们将分子理解的自然逻辑视为一个有向无环图（DAG）结构的推理过程，其根植于结构。