SCAFFOLD：用于计算机科学研究图表的包含图表问答和思维链推理轨迹的大规模结构化数据集

# SCAFFOLD：一个大规模结构化的计算机科学研究图表数据集，包含图表问答与思维链推理轨迹
来源：https://arxiv.org/html/2609.00018

Ranjit Raut  
人工智能系  
加德满都大学  
尼泊尔杜利凯尔  

Aarav Subedi  
人工智能系  
加德满都大学  
尼泊尔杜利凯尔  

Sagun Rai  
人工智能系  
加德满都大学  
尼泊尔杜利凯尔  

Sudan Jha  
计算机科学与工程系  
加德满都大学  
尼泊尔杜利凯尔  

###### 摘要  
计算机科学论文严重依赖图表：架构图、系统流程图和流水线示意图，这些图表所承载的信息往往超过周围文本。目前尚无公开数据集将这类特定图表与标题、上下文、问题、答案及逐步推理相结合——而这正是训练视觉-语言模型理解它们所需的。我们提出了SCAFFOLD（https://github.com/theranjitraut/scaffold），一个大规模结构化的计算机科学研究图表数据集，包含图表问答与思维链推理轨迹。该数据集由（图像、标题、上下文、问题-答案对、思维链）元组组成，源自arXiv计算机科学论文，通过版面检测和PDF解析准备，并经过AI辅助的问题生成步骤处理。最终形成的大规模SCAFFOLD-157K数据集涵盖3,058篇论文、29,887张图表（157,387个数据对）；中等规模的SCAFFOLD-37K数据集（36,797个数据对）；以及小规模的SCAFFOLD-12K数据集（12,000个数据对）。我们使用SCAFFOLD-12K在Qwen2.5-VL-3B-Instruct上进行了基线实验。

## 1 引言  
计算机科学论文充满了视觉内容。一张架构图、流程图或流水线示意图可以编码用几段文字才能解释清楚的关系。然而，研究人员用来搜索和处理文献的工具——搜索引擎、引用图谱、文本摘要器——大多忽视了这些视觉内容。如果读者想理解图表实际表达的内容，他们仍需依靠肉眼解读。近年来的视觉-语言模型能够同时处理图像和文本，通用系统如LLaVA、BLIP-2和PaliGemma在日常视觉问答中表现良好。但这些模型很少在计算机科学论文特有的视觉语言——盒式架构图、多阶段流水线、需要追踪特定连接或步骤顺序的流程图（正确答案取决于此，而非仅识别图像中的物体）——上进行测试或训练。这种差距的存在并非因为模型缺乏能力，而是因为数据不存在。没有任何公开数据集能在足够规模上将计算机科学图表与标题、上下文、问题及推理轨迹配对。事实上，在构建该领域的通用视觉-语言模型之前，数据问题就已成为障碍。本文描述了一个用于弥合此差距的流水线：一种自动化、可重复的方法，可直接从已发表的公开研究论文中挖掘此类数据，以及由此产生的数据集、其文档和基于该数据集训练模型的基线结果。

## 2 相关工作  
若干现有数据集将图像与问题配对，但无一专门关注计算机科学架构图。FigureQA和DVQA基于合成的、模板化的条形图、折线图和饼图构建，问题为简单的“是/否”或简短回答。PlotQA进一步扩展了这种合成图表方法。SciGraphQA更接近真实数据，使用大型语言模型为真实科学图表生成多轮问题-答案对，但其重点仍在于图表和图形，而非系统示意图。CharXiv在精神上最接近这项工作，因为它直接从arXiv论文中提取真实图表，但其问题仍围绕解读图表，而非推理图表结构（例如，“什么输入什么”）。另一系列工作，包括DocVQA和InfographicVQA，针对密集文档图像和信息图，而非单独提取的图表。这些数据集对于阅读文本密集的版面很有用，但它们并非围绕隔离单个图表、将其与标题匹配并连接到论文的论点结构而构建——而这正是对研究论文进行图表级推理所需的结构。  
可以像自然语言处理中通常描述低资源语言的方式来框定这一差距：一个资源充足的设定（通用视觉问答，以自然照片和日常图表为主，类似于高资源语言主导自然语言处理基准）与一个资源不足的设定（计算机科学论文中的结构化技术图表，类似于缺乏标注语料库的低资源语言）并存。正如针对低资源语言的基准构建对于使其在自然语言处理系统中变得可处理是必要的，一个针对特定领域、专门构建的数据流水线对于使计算机科学图表理解在视觉-语言模型中变得可处理也是必要的——而非假设通用视觉问答数据能够迁移。  
在提取方面，我们沿用了PDFFigures 2.0开创的先例，该研究表明监督式版面检测器能够可靠地在科学PDF中分离图表和标题。我们使用在通用DocLayNet版面分类法上训练的现代目标检测器（YOLOv8）更新了这种方法，并结合PyMuPDF进行精确的页面渲染和区域裁剪。在推理方面，我们借鉴了思维链提示文献及其多模态扩展，这些研究表明，在最终答案之前要求模型生成中间推理轨迹，可以提高准确性和可解释性；我们的数据集专门为支持这种格式的训练而构建。

## 3 数据集构建  
### 3.1 数据来源  
源文档为PDF格式的计算机科学研究论文，取自arXiv。当前版本涵盖3,058篇论文。论文逐页处理而非整体处理，每页独立渲染为150 DPI，以确保版面检测器看到一致、固定分辨率的输入。

### 3.2 清洗与提取流水线  
提取流水线对每个渲染页面应用以下步骤：
1. **版面检测**：在DocLayNet版面检测分类法上微调的YOLOv8模型，在页面上找到*图片*和*标题*区域。
2. **精确裁剪**：使用PyMuPDF直接从源PDF（而非光栅化的页面图像）裁剪每个检测到的图表区域，以保持图像质量。
3. **标题匹配**：使用结合垂直间距和水平边界框重叠的启发式方法，为每个裁剪的图表配对最近的标题，因为标题并非总是直接位于图表下方。
4. **上下文链接**：搜索论文全文，找到提及图表编号的第一句话（处理不一致的样式，如“Figure 3”、“Fig. 3”和“Fig.3”），该句子成为图表的上下文依据。
5. **清洗与过滤**：对于未检测到标题或无法解析图表编号的记录，标记为（ref_sentence_found = False）而非静默丢弃，以便下游用户可以准确查看提取的完整程度。  
该流水线在3,058篇源论文中提取了29,887张图表。

### 3.3 模板与生成流水线  
每个清洗后的（图表、标题、上下文）三元组经过问答与推理生成阶段，包含两条路径：
- **AI辅助生成（主要路径）**：Gemini API（使用开发过程中的gemini-2.5-flash、gemini-3.1-lite-flash和gemini-3.5-flash模型版本）基于图表图像、标题和引用句子，生成问题、答案，以及尽可能的思维链推理轨迹，格式为`...</think>`。
- **基于模板的生成（备用路径）**：当未配置API密钥或生成失败时，确定性模板系统仅从标题和上下文构建结构有效的问答对。这保证了流水线永不会因外部服务不可用而停滞或产生空记录。  
每个生成的问题被分配七种类型之一：*组件*、*关系*、*过程*、*结果*、*比较*、*架构*或*通用*，以避免数据集被单一问题类型主导。

### 3.4 输出格式  
每条记录存储为一个14字段的结构化对象（标识符、标题、上下文、问题、答案、问题类型、生成来源、推理轨迹、推理来源及base64编码的裁剪图像）。它以两种方式序列化：一个用于检查的完整JSON记录，以及一个轻量级的训练记录，已按照目标模型的聊天消息结构格式化，无需进一步转换即可使用。

### 3.5 完整数据模式  
表1（https://arxiv.org/html/2609.00018#S3.T1）列出了记录格式中的每个字段、其类型和含义。该模式在第4节描述的三个数据集版本（Scaffold-157K、Scaffold-37K和Scaffold-12K）中保持一致。

表1：所有数据集版本使用的14字段数据集记录的完整模式。  
每个记录根据此模式生成两种形式：完整形式（`to_dict()`）写入所有14个字段，包括base64图像，用于手动检查和存档；以及紧凑的训练形式（`to_train_record()`），删除仅用于检查的字段并将记录直接重新格式化为目标视觉-语言模型期望的聊天消息结构，可直接用于训练脚本，无需额外转换步骤。

### 3.6 示例记录  
为使模式具体化，表2（https://arxiv.org/html/2609.00018#S3.T2）展示了一个基于交叉注意力图图表的简短示例记录。

表2：一个简化的示例数据集记录，展示每个字段的填充方式。  
参考标题：图1：数据集构建。

## 4 数据集统计  
### 4.1 统计  
表3：流水线在项目不同阶段生成的数据集版本。  
在整个发布版本中，这些问答对来自从3,058篇论文中提取的29,887张图表。较大的Scaffold-157K和Scaffold-37K集合表明该流水线可以大规模提取数据。较小的Scaffold-12K集合来自少量完全处理的论文，经过人工质量抽查，并用于第5节报告的基线训练。

### 4.2 问题类型分布  
每个生成的问题都标记为七种类型之一（第3.3节）。表4（https://arxiv.org/html/2609.00018#S4.T4）展示了生成流水线在平衡提取运行中所追求的目标分布；*关系*和*组件*问题被有意偏好，因为它们最能测试模型是否真正理解了图表各部分如何连接，而不仅仅是识别图表中的物体。

表4：用于标记每个生成问题的七种问题类型类别。

### 4.3 生成来源分布  
每条记录还包含来源元数据（`qa_source`和`cot_source`），显示其问题/答案和推理轨迹来自Gemini API路径还是合成模板备用路径。表5（https://arxiv.org/html/2609.00018#S4.T5）总结了每个来源路径所保证的内容。

表5：记录在每条数据集记录中的来源值，允许下游用户按生成来源过滤。  
希望获得纯AI监督问题集的用户可以过滤`qa_source = "gemini"`的记录。希望在整个语料库中获得保证可用、更简单问题集的用户可以依赖合成备用记录，这些记录即使措辞更模板化，也始终是结构有效的。

### 4.4 数据集说明摘要  
遵循标准的数据集文档实践，我们在下方总结数据集。  
**动机**。该数据集弥合了一个空白：此前没有针对计算机科学架构图、流程图和流水线示意图的图表-问题-推理语料库，而这是训练领域特定视觉-语言模型所必需的。  
**组成**。每个实例是来自计算机科学论文的单张图表，配以其标题、来自论文正文的引用句子、生成的问题、生成的答案、问题类型标签、思维链推理轨迹（如果有），以及显示问题/答案和推理来自AI生成还是模板备用的来源元数据。  
**收集过程**。实例是使用第3节中的流水线从arXiv PDF源文件自动生成的；没有单个图表是人工标注的，尽管对1000个样本进行了人工质量审查。  
**预处理/清洗**。没有可检测标题或可解析图表编号的图表被标记而非直接丢弃，缺少引用句子的记录被相应标记，以便下游用户可以根据需要进行过滤。  
**用途**。该数据集旨在用于微调和评估视觉-语言模型在计算机科学图表理解方面的能力，包括思维链推理生成。它不适用于非计算机科学的科学图表或通用视觉问答。  
**分发**。参见第7节数据可用性声明。  
**维护**。产生该数据集的流水线旨在随着项目的增长在其他论文上重新运行；预计数据集将持续增长，而非保持静态。

## 5 实验  
为确认数据集可用于其预期目的，我们在Scaffold-12K训练集上使用QLoRA（在所有注意力和MLP投影层上使用4位量化和秩64的LoRA适配器）微调了一个小型视觉-语言模型（Qwen2.5-VL-3B-Instruct），并在匹配的2,000个示例验证集上进行了评估。

参考标题：图2：方法论。  
参考标题：图3：模型架构。  
表6：在Scaffold-12K验证集上的基线微调结果。  
这些结果表明该数据集的格式和内容适用于监督微调：模型可靠地学会了生成格式良好的输出（99.5%格式合规性），并达到了中等的答案准确率，在数字问题上的表现明显优于开放式文本问题。我们报告这些作为数据集有用性和流水线正确性的验证，而非最先进结果，因为训练仅使用了小型的Scaffold-12K分割，而非更大的集合。  
我们报告了Scaffold-12K的三个基准测试结果。它们是：ChartQA、DocVQA和AI2D。以下是取得的结果：  

表7：基准测试结果

## 6 局限性与伦理考量  
### 6.1 局限性  
- **验证规模**。仅Scaffold-12K分割经过人工抽查；较大的Scaffold-157K和Scaffold-37K集合未经独立检查以达到同等严格程度。  
- **领域覆盖**。迄今为止，源论文来自数量有限的计算机科学子领域；来自代表性不足的子领域的图表风格可能未被充分代表。  
- **生成依赖性**。问题、答案和推理质量的大部分依赖于Gemini API；基于模板的备用路径虽然可靠，但产生的问题比AI辅助路径更简单、更统一。  
- **版面检测器的通用性**。图表/标题检测器在通用文档版面分类法（DocLayNet）上训练，而非……