AI能绘制科学图吗？一个用于评估文本到图像和多模态模型生成科学图形的基准

# 人工智能能否绘制科学图形？评估文本到图像与多模态模型科学图形生成能力的基准测试
来源：https://arxiv.org/html/2606.28406
（2026年6月）

###### 摘要

文本到图像与多模态生成模型正越来越多地被用于生成科学图形——机制示意图、实验设计原理图、概念框架和图形摘要。然而，现有的图像生成基准（如 GenEval、T2I-CompBench、DPG-Bench）评估的是*自然*图像，并衡量组合性、物体计数或逼真度。它们都没有衡量决定所生成的*科学*图形是否可用的属性：正确且清晰的文本标签、实体及其关系的忠实描绘、连贯的图表结构，以及遵循学科绘图规范。我们引入了**SciDraw-Bench**，这是一个包含32个结构化科学图形生成任务的基准测试，涵盖八种图形类型和十个学科。每个任务将自然语言提示与机器可检查的规范（包括所需标签、关系、组件、规范和负面约束）配对。我们提出了一个四维评估协议——文本保真度（基于OCR的标签召回率和字符错误率）、语义正确性（视觉-语言模型根据规范进行评判）、结构质量和规范遵循性——以及一个元评估协议和初步的评判者间可靠性分析（人工评分验证正在进行中）。我们评估了一个特定领域的系统 **SciDraw AI**，与代表性的通用文本到图像模型进行对比，并概述了一个代码到图形基线（LLM生成的矢量图形）作为计划中的扩展。任务规范和评估工具可根据作者请求获取，以支持科学图形生成进展的可重复测量。在一项涵盖所有八种图形类型的试点研究中，特定领域系统在每个维度和图形类型上都显著优于通用文本到图像基线，最大的差距体现在语义正确性和学科规范遵循性上；文本保真度仍然是所有系统最难的维度。

关键词：文本到图像生成，科学图形，基准测试，评估，视觉-语言模型，可重复性

## 1 引言

科学图形是学术交流的主要媒介：机制示意图、实验设计原理图、概念框架和图形摘要将复杂的想法压缩成一种支持同行评审、复制和教学的形式（Tufte, 2001 (https://arxiv.org/html/2606.28406#bib.bib16); Rougier 等, 2014 (https://arxiv.org/html/2606.28406#bib.bib12)）。传统上，制作高质量的图形需要大量时间和专门的工具。文本到图像（T2I）扩散模型（Rombach 等, 2022 (https://arxiv.org/html/2606.28406#bib.bib11); Saharia 等, 2022 (https://arxiv.org/html/2606.28406#bib.bib13)）、自回归图像模型（Yu 等, 2022 (https://arxiv.org/html/2606.28406#bib.bib18)）和多模态基础模型（Betker 等, 2023 (https://arxiv.org/html/2606.28406#bib.bib1); Team 等, 2023 (https://arxiv.org/html/2606.28406#bib.bib15)）的快速进步使得直接从自然语言描述生成此类图形成为可能，并且许多系统现在瞄准了这一用例。

然而，当前模型是否真的能够绘制*科学*图形，是一个待解决的经验性问题——而现有基准测试无法回答这个问题。主流T2I评估衡量的是*自然*图像的属性：GenEval（Ghosh 等, 2023 (https://arxiv.org/html/2606.28406#bib.bib5)）和 T2I-CompBench（Huang 等, 2023 (https://arxiv.org/html/2606.28406#bib.bib9)）探究物体存在性、计数、颜色绑定和空间组合；DPG-Bench（Hu 等, 2024 (https://arxiv.org/html/2606.28406#bib.bib8)）衡量密集提示遵循性；HEIM（Lee 等, 2023 (https://arxiv.org/html/2606.28406#bib.bib10)）汇总了美学、对齐度、鲁棒性和偏见；FID（Heusel 等, 2017 (https://arxiv.org/html/2606.28406#bib.bib7)）和 CLIPScore（Hessel 等, 2021 (https://arxiv.org/html/2606.28406#bib.bib6)）评估分布真实性和图像-文本对齐度。这些指标都没有捕捉到科学图形*可用*的关键因素：

1. (i) **文本保真度**。科学图形是标签密集型的。一个带有乱码或拼写错误的基因名称的机制示意图毫无价值，然而T2I模型在图像内文本方面是出了名的不可靠（Chen 等, 2023 (https://arxiv.org/html/2606.28406#bib.bib2); Yang 等, 2023 (https://arxiv.org/html/2606.28406#bib.bib17)）。
2. (ii) **语义正确性**。正确的实体必须以正确的关系出现。“PTEN 抑制 PIP3”必须绘制为抑制，而不是激活。
3. (iii) **结构质量**。阅读顺序、箭头方向性和分组必须传达预期的逻辑。
4. (iv) **规范遵循性**。学科有视觉语法（膜为双层，抑制为钝头箭头，逆流冷凝器流）——领域读者期望如此。

我们通过 **SciDraw-Bench** 来解决这一差距。我们的贡献是：

1. (1) **一个基准数据集**，包含32个跨八种图形类型和十个学科的科学图形生成任务。关键是，该数据集包含的是*任务*，而不是参考图像：每个任务是一个提示与一个机器可检查的规范（所需标签、关系、组件、规范、负面约束）配对。不存在单一的“真实”图像，因为一个规范允许多种正确的渲染方式（第3节 (https://arxiv.org/html/2606.28406#S3)）。
2. (2) **一个评估协议**，专门针对科学图形设计，结合了基于OCR的文本保真度、视觉-语言模型（VLM）对语义正确性的评判，以及基于规则的结构质量和规范遵循性（第4节 (https://arxiv.org/html/2606.28406#S4)）。
3. (3) **一个元评估协议**，用于通过排名相关性和标注者间一致性，将自动指标与人类专家评分进行验证——这一步将测量工具与一次性工具比较区分开来——以及一个初步的评判者间可靠性分析（第4节 (https://arxiv.org/html/2606.28406#S4)）；人工评分研究正在进行中。
4. (4) **一项试点比较研究**，对比一个特定领域系统与代表性的通用文本到图像基线，并附带定性错误分类（第5-8节 (https://arxiv.org/html/2606.28406#S5)）。

任务规范和评估工具可根据作者请求获取，以便基准测试能够随着模型的发展而重新运行。本文稿确定了基准测试和协议，并报告了涵盖所有八种图形类型的试点评估（第6-8节 (https://arxiv.org/html/2606.28406#S6)）；人工元评估正在进行中。

## 2 相关工作

#### 文本到图像评估。

生成图像模型的早期评估依赖于分布性指标，如 FID（Heusel 等, 2017 (https://arxiv.org/html/2606.28406#bib.bib7)）和图像-文本对齐度分数，如 CLIPScore（Hessel 等, 2021 (https://arxiv.org/html/2606.28406#bib.bib6)）。随着提示遵循性成为瓶颈，以提示为中心的基准测试出现：PartiPrompts（Yu 等, 2022 (https://arxiv.org/html/2606.28406#bib.bib18)）、GenEval（Ghosh 等, 2023 (https://arxiv.org/html/2606.28406#bib.bib5)）、T2I-CompBench（Huang 等, 2023 (https://arxiv.org/html/2606.28406#bib.bib9)）和 DPG-Bench（Hu 等, 2024 (https://arxiv.org/html/2606.28406#bib.bib8)）衡量物体存在性、计数、属性绑定、空间关系和密集提示遵循性。HEIM（Lee 等, 2023 (https://arxiv.org/html/2606.28406#bib.bib10)）将评估扩展到多个与人类对齐的维度。所有这些都针对自然图像生成；没有一个定义了*图表正确性*的概念或衡量图像内科学文本，而这正是 SciDraw-Bench 的重点。

#### 图像中的文本渲染。

渲染可读文本的困难催生了专门的方法，如 TextDiffuser（Chen 等, 2023 (https://arxiv.org/html/2606.28406#bib.bib2)）和 GlyphControl（Yang 等, 2023 (https://arxiv.org/html/2606.28406#bib.bib17)），以及相应的基于OCR准确度的评估。我们采用了类似精神的基于OCR的标签召回率指标，但将其应用于图形规范所需的特定领域标签，而不是自由格式文本渲染。

#### 模型和VLM作为评判者。

使用强模型来评判生成的输出现在已是开放式任务的标准做法（Zheng 等, 2023 (https://arxiv.org/html/2606.28406#bib.bib19)）。我们在语义和结构维度上使用VLM作为评判者集成，针对明确的评分标准强制生成每个条目的结构化判定，并报告评判者间一致性作为可靠性检查；与人工评分的验证是我们协议的一部分，并且正在进行中。

#### 科学可视化和工具。

有效科学图形的原则早已确立（Tufte, 2001 (https://arxiv.org/html/2606.28406#bib.bib16); Rougier 等, 2014 (https://arxiv.org/html/2606.28406#bib.bib12)），并且诸如 BioRender 和特定领域的 AI 平台（SciDraw AI, 2025 (https://arxiv.org/html/2606.28406#bib.bib14)）等工具旨在降低其制作成本。早期的政策导向工作调查了编辑对AI生成图形的接受度（Chen, 2026 (https://arxiv.org/html/2606.28406#bib.bib3)）；在此，我们转而提出一个正交的、可衡量的问题：当前系统在执行该任务时*有多好*。

## 3 SciDraw-Bench

### 3.1 设计原则：任务而非图像

一个科学图形规范可以被许多不同的图像满足。一个正确的CAR-T机制示意图可以将T细胞放在左边或右边，使用不同的受体图标，仍然可以是完全正确的。因此，固定一个单一的参考图像作为“真实答案”会惩罚有效的变体并奖励风格模仿。SciDraw-Bench 因此将每个条目定义为一个*生成任务*：一个自然语言提示（原样输入给每个系统）加上一个结构化的*规范*，说明任何正确的输出必须包含什么。评估将生成的图像与规范进行比较，而不是与参考图像进行比较。

### 3.2 任务模式

每个任务是一个 JSON 记录，包含以下字段：

\{
  "id": "mech-001",
  "figure_type": "mechanism",
  "discipline": "immunology",
  "difficulty": "easy",
  "prompt": "Draw a molecular mechanism diagram of a CAR-T cell...",
  "required_labels": ["CAR-T cell", "HER2", "scFv", "CD3z", ...],
  "required_relations": [["scFv", "binds", "HER2"], ...],
  "required_components": ["T-cell with membrane bilayer", ...],
  "discipline_conventions": ["receptor as Y-shaped transmembrane", ...],
  "negative_constraints": ["no photorealistic micrographs", ...]
\}

每个字段映射到一个评估维度（第4节 (https://arxiv.org/html/2606.28406#S4)）：`required_labels` → 文本保真度；`required_relations` 和 `required_components` → 语义正确性；提示中的布局/排序线索 → 结构质量；`discipline_conventions` 和 `negative_constraints` → 规范遵循性。

### 3.3 覆盖范围与统计

SciDraw-Bench 包含 32 个任务，针对八种图形类型中的每一种平衡了四个任务（表1 (https://arxiv.org/html/2606.28406#S3.T1)）。每种图形类型包含一个*简单*、两个*中等*和一个*困难*任务，难度随着所需标签数量、所需关系密度和规范严格程度而增加（总体 8 简单 / 16 中等 / 8 困难）。任务涵盖十个学科——生物医学、细胞生物学、免疫学、化学、物理学、计算机科学、环境科学、材料科学、神经科学和社会科学——这样就不会有单一的视觉习惯占主导地位。该集合有意保持紧凑并完全由人工编写，以确保规范准确且可审计；模式和工具的设计使得可以扩展套件而无需更改协议。

表 1：SciDraw-Bench 图形类型（每类 4 个任务；共 32 个）。每种类型涵盖简单/中等/困难难度。

## 4 评估协议

我们对每个生成的图像在四个维度上进行评分，每个维度归一化到 \([0,1]\)，加上一个综合分数。对于每个（系统，任务）对，我们生成 \(k=3\) 个样本以考虑随机性，并报告最佳 \(k\) 和平均值。所有模型版本和生成时间戳都被记录以确保可重复性。

### 4.1 文本保真度 (TF)

我们通过 OCR 提取图像中存在的文本标记；该工具支持 PaddleOCR（Du 等, 2020 (https://arxiv.org/html/2606.28406#bib.bib4)）和 Tesseract 后端，此处报告的试点使用视觉-语言模型转录流程。对于 `required_labels` 中的每个字符串，我们使用归一化 Levenshtein 距离（当归一化距离低于阈值 \(\tau\) 时接受匹配；该工具使用 \(\tau = 0.30\)）测试与 OCR 标记的模糊匹配。我们报告*标签召回率*（找到的所需标签的比例）和匹配标签上的平均字符错误率，并将它们组合为：

\[
\mathrm{TF} = \alpha \cdot \text{recall} + (1-\alpha) (1-\text{CER}), \qquad \alpha=0.7.
\]

### 4.2 语义正确性 (SC)

一个VLM作为评判者被展示生成的图像和任务规范，并为 `required_relations` 和 `required_components` 中的每个条目返回一个逐项的是/否判定：该关系是否以正确的方向性描绘，该组件是否存在，以及是否存在与规范矛盾的幻觉实体？SC 是满足的规范条目的比例。为了减少单一评判者偏差，我们使用至少两个评判模型的集成，并平均它们在条目级别的判定。确切的评分提示是固定的并包含在工具中，以便判定是可审计和可报告的。

### 4.3 结构质量 (SQ) 和规范遵循性 (CA)

SQ 是 VLM 评判的 1-5 级评分标准，涵盖阅读顺序、箭头方向性、分组连贯性和避免重叠杂乱。CA 是 VLM 评判的 1-5 级评分标准，检查任务的 `discipline_conventions` 并惩罚违反 `negative_constraints` 的情况。两者都线性映射到 \([0,1]\)。

### 4.4 综合分数

综合分数是加权平均值：

\[
\mathrm{Overall} = w_{\mathrm{TF}} \mathrm{TF} + w_{\mathrm{SC}} \mathrm{SC} + w_{\mathrm{SQ}} \mathrm{SQ} + w_{\mathrm{CA}} \mathrm{CA},
\]

默认权重为 \((0.30, 0.30, 0.20, 0.20)\)。我们在附录 A (https://arxiv.org/html/2606.28406#A1) 中报告了权重的敏感性分析。

### 4.5 元评估

自动指标只有在与人类判断一致时才有用。因此，该协议收集至少三位标注者对生成的图像在分层子集上的评分，基于相同的四个维度（1-5 级），并报告 (i) 每个维度上自动分数与平均人类分数之间的 Spearman \(\rho\) 和 Kendall \(\tau\)，以及 (ii) 通过 Krippendorff's \(\alpha\) 和 ICC(2,\(k\)) 计算的标注者间一致性。强大的排名相关性和可接受的一致性是在自动分数被解释为校准测量而非估计之前所必需的。这项人类研究正在进行中；作为临时的可靠性检查，我们报告两个自动评判者之间的评判者间一致性（第7节 (https://arxiv.org/html/2606.28406#S7)）。

## 5 实验设置

#### 被测系统。

我们比较一个特定领域的科学插图平台 **SciDraw AI** (https://sci-draw.