ChemVA：推动大型语言模型对化学反应图的理解

# ChemVA：推动大语言模型理解化学反应图示
来源：https://arxiv.org/html/2605.17214
Mingyang Rao
浙江大学计算机科学与技术学院
浙江杭州中国
myR001@zju\.edu\.cn (https://arxiv.org/html/2605.17214v1/mailto:[email protected])
Kehua Feng
浙江大学计算机科学与技术学院
浙江杭州中国
kehuafeng@zju\.edu\.cn (https://arxiv.org/html/2605.17214v1/mailto:[email protected])
Zhihui Zhu
浙大杭州国际科创中心，浙江大学
浙江杭州中国
Zhihui\.Zhu01@outlook\.com (https://arxiv.org/html/2605.17214v1/mailto:[email protected])
Jiangzhen Fu
复旦大学化学系
上海中国
23110220019@m\.fudan\.edu\.cn (https://arxiv.org/html/2605.17214v1/mailto:[email protected])
Hao Yu
复旦大学化学系
上海中国
hao\_yu@fudan\.edu\.cn (https://arxiv.org/html/2605.17214v1/mailto:[email protected])
Keyan Ding
浙大杭州国际科创中心，浙江大学
浙江杭州中国
dingkeyan@zju\.edu\.cn (https://arxiv.org/html/2605.17214v1/mailto:[email protected])
及 Huajun Chen†
浙江大学计算机科学与技术学院
浙江杭州中国
huajunsir@zju\.edu\.cn (https://arxiv.org/html/2605.17214v1/mailto:[email protected])
(2026)

###### 摘要。
虽然大语言模型（LLMs）已彻底改变了科学文本处理，但在解释化学反应图示时，它们仍表现出显著的能力差距。我们识别出当前系统面临的两个根本瓶颈：视觉缺陷，即通用视觉编码器难以解析密集分子图的严格拓扑连通性；以及语义脱节，即标准线性字符串（例如 SMILES）无法有效激活模型潜在的化学推理能力。为弥合这些差距，我们提出了化学视觉激活（ChemVA）框架，该框架采用一种新颖的视觉锚点机制，通过混合粒度检测来锚定官能团，随后采用语义对齐方法将视觉特征转化为实体名称，以最大化激活 LLMs 中的知识。我们在新构建的数据集 OCRD-Bench 上评估了我们的方法，该数据集具有密集的视觉语义背景和全面的反应覆盖，以评估从识别到推理的全谱系能力。在 OCRD-Bench 上的大量实验表明，ChemVA 实现了 92.0% 的结构识别准确率。通过弥合视觉和语义瓶颈，我们的框架在 9 种不同的 LLMs 上持续带来约 20 个百分点的性能提升，使开源权重模型能够在复杂化学推理任务中与专有的最先进系统相媲美。
大语言模型，化学图示推理，光学化学结构识别
††copyright:none
††journalyear:2026
††conference:预印本；2026年；
††ccs:计算方法 自然语言处理
††ccs:计算方法 计算机视觉
††ccs:应用计算 化学

参照图注
图1. 基于LLM的化学反应图示理解中的局限性及所提出的ChemVA框架概述。(a) 现有流水线在反应图示解析中存在视觉缺陷，并在基于SMILES的表示下存在语义脱节。(b) ChemVA通过基于官能团的反应图示解析和语义激活弥合这些差距，以支持下游推理。

## 1. 引言

将大语言模型（LLMs）整合到科学发现流水线中，加速了“AI for Science”的进展，尤其是在需要复杂推理的领域，如有机化学 (Boiko et al., 2023 (https://arxiv.org/html/2605.17214#bib.bib1); Zhang et al., 2024b (https://arxiv.org/html/2605.17214#bib.bib2))。通用模型如 GPT-5 和 Gemini2.5-pro 在文本为主的化学任务中表现出色，包括合成规划和性质预测 (A. M. Bran et al. (2025) (https://arxiv.org/html/2605.17214#bib.bib50); Y. Gu and Z. Liang (2025) (https://arxiv.org/html/2605.17214#bib.bib51); 10 (https://arxiv.org/html/2605.17214#bib.bib52))。然而，文献中化学知识的主要模态仍是视觉的，即分子结构和反应图示，而当前最先进的模型在此模态上仍表现出巨大差距 (Li et al., 2025 (https://arxiv.org/html/2605.17214#bib.bib15); Guo et al., 2023 (https://arxiv.org/html/2605.17214#bib.bib3))。这一差距可追溯到两个根本瓶颈：结构感知中的视觉缺陷和知识激活中的语义脱节 (图1 (https://arxiv.org/html/2605.17214#S0.F1))。

首先，尽管视觉语言模型取得了快速进展，但在处理化学图像时仍存在关键的视觉缺陷。化学结构是密集的图对象，其意义由拓扑连通性和立体化学几何决定，而非 CLIP 风格编码器通常强调的全局语义线索 (Morin et al., 2023 (https://arxiv.org/html/2605.17214#bib.bib4); Staker et al., 2019 (https://arxiv.org/html/2605.17214#bib.bib53))。先前的评估 (Qian et al., 2023b (https://arxiv.org/html/2605.17214#bib.bib5); Clevert et al., 2021 (https://arxiv.org/html/2605.17214#bib.bib6)) 表明，通用模型经常幻觉出原子，混淆键型，并在旋转或视觉拥挤的图（即具有密集官能团或复杂环系的分子）下性能下降。与自然图像中轻微扭曲可能可容忍不同，化学图示中即使单个局部错误（例如，将楔形键解释为虚线键）也可能改变分子身份并使下游分析无效。现有的光学化学结构识别（OCSR）工具，包括 MolScribe (Qian et al., 2023b (https://arxiv.org/html/2605.17214#bib.bib5)), Decimer (Schütt et al., 2020 (https://arxiv.org/html/2605.17214#bib.bib11); Rajan et al., 2023 (https://arxiv.org/html/2605.17214#bib.bib24)), 及相关方法 (Chen et al., 2025 (https://arxiv.org/html/2605.17214#bib.bib56); Oldenhof et al., 2021 (https://arxiv.org/html/2605.17214#bib.bib55); Shah et al., 2025 (https://arxiv.org/html/2605.17214#bib.bib64); Wang et al., 2025 (https://arxiv.org/html/2605.17214#bib.bib65); Zhuang et al., 2025 (https://arxiv.org/html/2605.17214#bib.bib66))，改进了图像到图的转换，但主流形式仍然是原子级预测，将分子表示为节点和边的序列。这种形式没有捕捉到亚结构级感知，而官能团作为稳定的语义单元指导专家解释。

其次，即使结构识别产生了正确的线性表示如 SMILES，LLMs 中的下游推理仍可能受到我们称之为语义脱节的阻碍。这个术语指的是化学上有效的符号编码与 LLMs 在推理期间依赖的语义线索之间的不匹配。虽然 SMILES 提供了分子图的精确规范，但对语言模型来说，它主要是一个非语义的字符序列，并不能可靠地唤起支持化学推理的功能概念。先前的证据表明，仅 SMILES 通常无法有效“激活”LLMs 中的潜在化学知识 (Edwards and others, 2022 (https://arxiv.org/html/2605.17214#bib.bib7))。相反，化学实体名称（例如 IUPAC 名称 (Heller et al., 2015 (https://arxiv.org/html/2605.17214#bib.bib80)））提供了更一致地激发关于反应性和合成知识的显式描述符 (Runcie and others, 2025 (https://arxiv.org/html/2605.17214#bib.bib8); Diao and others, 2023 (https://arxiv.org/html/2605.17214#bib.bib9))。因此，遵循“图像→SMILES→推理”的流水线可能会未充分利用 LLMs 的推理能力，因为中间表示与指导推理的语义抽象不对齐。

为弥合这些差距，我们提出化学视觉激活（ChemVA），一个两阶段框架，包括反应图示解析和语义激活。受人类认知中“组块化”机制启发 (Gobet and others, 2001 (https://arxiv.org/html/2605.17214#bib.bib10))，反应图示解析阶段使用基于官能团的视觉语言模型（FG-VLM），通过反应解构和混合粒度视觉锚点建模将官能团锚定为视觉锚点，从而实现拓扑保真的结构重建。语义激活阶段随后通过将识别出的结构解析为实体名称来执行语义对齐，这些名称用于构建语义基础提示，更有效地激发下游 LLMs 中的化学知识。为克服现有数据集的局限性（通常侧重于结构识别或纯文本推理），我们构建了 OCRD-Bench，一个源自研究生水平化学入学考试的统一多模态基准。在 OCRD-Bench 上的实验表明，ChemVA 一致地优于强基线。特别是，FG-VLM 减少了专业 OCSR 流水线中常见的误差累积，并减轻了通用多模态模型中的结构幻觉（例如，虚假原子/键和不正确连接）。此外，语义激活解决了语义脱节，并通过提供基于实体名称的提示来改进下游推理，这些提示更好地与 LLMs 使用的语义抽象对齐。

我们的贡献可总结如下：
- 我们提出了 ChemVA，一个两阶段框架，通过反应图示解析和语义激活弥合视觉缺陷和语义脱节，改进了化学 MLLMs 中的图示理解和下游推理。
- 我们开发了 FG-VLM，首个混合粒度 OCSR 模型，将官能团锚定为视觉锚点，并通过方向向量匹配重建拓扑保真的分子图，超越了纯原子级序列化。
- 我们构建了 OCRD-Bench，一个源自研究生水平入学考试的具有挑战性的多模态基准，具有广泛反应覆盖和分级评估协议，涵盖视觉感知、化学知识和机理推理。
- 我们展示了 ChemVA 在多种 LLMs 上一致地提升性能，在复杂推理任务上带来显著增益。

## 2. 相关工作

### 2.1. 化学反应图示理解方法

先前关于化学反应图示理解的研究主要分为两条线索：(i) 从图像中“数字化”结构的符号序列化方法，以及 (ii) 尝试直接从视觉输入进行推理的多模态 LLMs。

一个长期的方向是通过 OCSR 进行符号序列化，将光栅图示转换为机器可读的符号形式，如分子图或 SMILES。代表性系统（例如 MolScribe (Qian et al., 2023b (https://arxiv.org/html/2605.17214#bib.bib5)), RxnScribe (Qian et al., 2024 (https://arxiv.org/html/2605.17214#bib.bib12)), OpenChemIE (Fan et al., 2024 (https://arxiv.org/html/2605.17214#bib.bib77)), 和 DECIMER (Schütt et al., 2020 (https://arxiv.org/html/2605.17214#bib.bib11); Rajan et al., 2023 (https://arxiv.org/html/2605.17214#bib.bib24)), ReactionDataExtractor1.0/2.0 (Wilary and Cole, 2021 (https://arxiv.org/html/2605.17214#bib.bib81), 2023 (https://arxiv.org/html/2605.17214#bib.bib82))）通常以原子级粒度操作，将识别表述为结构化预测（图预测或图到文本编码 (Yu et al., 2024 (https://arxiv.org/html/2605.17214#bib.bib59))）。虽然这些模型在干净输入上可以达到强大的结构准确性，但它们主要作为语义无关的数字化器：输出符号在化学上是有效的，但未明确暴露更高层次的语义单元（例如官能团），而这些单元对于在旋转/拥挤下进行稳健解释和下游推理至关重要。

最近的工作将视觉编码器与 LLMs 耦合以实现终端任务推理。隐式对齐方法（例如 ChemVLM (Li et al., 2024 (https://arxiv.org/html/2605.17214#bib.bib42)））通过指令调优将通用视觉骨干与化学文本对齐，但在处理密集分子图时经常遭受视觉缺陷，相对于专业 OCSR 工具导致结构幻觉。另一条线索，外部检索（例如 MolMole (Research et al., 2025 (https://arxiv.org/html/2605.17214#bib.bib48)), Doc2SAR (Zhuang et al., 2025 (https://arxiv.org/html/2605.17214#bib.bib66))），通过从文档和数据库中提取或检索分子事实来基础 LLM 输出；这可以改进查找类任务的事实性，但依赖于外部资源而非加强内在视觉理解和生成式推理。

我们的框架桥接了这些范式，采用 (i) 一个混合粒度视觉模块，将官能团锚定为视觉锚点，以实现超越纯原子级序列化的更稳健结构理解，以及 (ii) 一个语义对齐工作流，将基础视觉证据转化为实体名称，以最大化下游 LLMs 中的知识激活，无需数据库检索。

### 2.2. 化学反应图示理解基准

现有基准通常孤立地评估化学反应图示理解流水线的特定阶段，未能评估端到端能力。以识别为中心的基准（例如标准 USPTO 子集 (Oldenhof et al., 2021 (https://arxiv.org/html/2605.17214#bib.bib55)））仅关注图像到 SMILES 的翻译准确性，忽略了下游化学有效性。以文本为中心的推理基准，如 SciBench (Wang et al., 2024 (https://arxiv.org/html/2605.17214#bib.bib31)) 和 ChemBench (Zhang et al., 2024a (https://arxiv.org/html/2605.17214#bib.bib43))，评估知识但主要使用文本输入，绕过了视觉感知挑战。虽然最近的多模态基准如 MMCR (Li et al., 2024 (https://arxiv.org/html/2605.17214#bib.bib42)) 和 MaCBench (Alampara et al., 2024 (https://arxiv.org/html/2605.17214#bib.bib73)) 引入了视觉推理，但它们主要局限于选择题或文档级元素检测。关键的是，尽管在分子和反应理解任务 (N. T. Runcie, C. M. Deane, and F. Imrie (2025) (https://arxiv.org/html/2605.17214#bib.bib74); 3 (https://arxiv.org/html/2605.17214#bib.bib76); R. Xu, Y. Zhang, Q. Wang, C. Edwards, and H. Ji (2025) (https://arxiv.org/html/2605.17214#bib.bib21); 23 (https://arxiv.org/html/2605.17214#bib.bib75)) 方面取得近期进展，但专门桥接视觉反应识别与深度机理推理的基准仍然非常匮乏 (Yue et al., 2024 (https://arxiv.org/html/2605.17214#bib.bib67); Lu et al., 2022 (https://arxiv.org/html/2605.17214#bib.bib69))。我们的 OCRD-Bench 源自研究生水平入学考试，是首个要求端到端生成式推理的基准，要求模型独立解析复杂反应图示并生成多步机理解释。

## 3. 方法

参照图注
图2. ChemVA 框架概述。第一阶段：反应图示解析。(a) 反应图示解构：FG-VLM 定位图示元素（例如反应物、条件、箭头）并裁剪分子区域。(b) 视觉锚点建模：FG-VLM 预测混合粒度