T2MM：一种支持LLM的探究式建模架构

# T2MM: 一种面向探究式建模的大语言模型支持架构

来源: https://arxiv.org/html/2606.11210

11institutetext:佐治亚理工学院，美国佐治亚州亚特兰大 30322

###### 摘要

模型构建是科学学习中的基础实践，依赖于可视化和交互性。大语言模型（LLMs）逐渐增强多模态能力，已被集成到教育环境中以支持学习。然而，这些工具缺乏某些学习情境所需的视觉交互性。我们提出了文本到多模态模型（Text to Multimodal Model，T2MM），这是一种稳健、动态的LLM支持架构，可帮助用户在开放式探究生态建模软件"虚拟实验研究助手"（Virtual Experimental Research Assistant，VERA）中进行模型构建。T2MM 能感知学习者模型的当前上下文，并创建可交互的模型（而非静态图像），从而使模型能够响应用户的手动调整。为衡量技术可行性，我们通过一个自定义程序生成的数据集来评估 T2MM，该数据集包含自然语言的学习者建模请求以及 VERA 系统中的目标模型。在所有度量成功指标上，T2MM 均优于文献中常见的基于 LLM 完整代码生成的基线模型生成架构。我们的贡献不仅概述了将 LLM 集成到探究式学习建模工具中的方法，还描述了一种可能用于创建更具交互性的多模态 LLM 工具的架构。

## 1 引言

近年来技术的发展以及自适应个性化学习的潜力，促使大语言模型（LLMs）被引入各种学习环境，涵盖编程[16 (https://arxiv.org/html/2606.11210#bib.bib13)]、写作[19 (https://arxiv.org/html/2606.11210#bib.bib12)]、数学[11 (https://arxiv.org/html/2606.11210#bib.bib14)]以及科学探究[12 (https://arxiv.org/html/2606.11210#bib.bib25)]等多个学科。由于 LLM 技术的特性，其集成默认采用纯文本交互形式[3 (https://arxiv.org/html/2606.11210#bib.bib10)]。在人工智能与教育领域，近期的文献已开始将多模态引入 LLM 辅助的学习环境，因为视觉表征是许多不同类型学习的必要组成部分。例如，利用图像进行问答[20 (https://arxiv.org/html/2606.11210#bib.bib28)]，以及自动生成数学图表[9 (https://arxiv.org/html/2606.11210#bib.bib29),7 (https://arxiv.org/html/2606.11210#bib.bib26)]。多模态的一种形式——建模，尤其是模型构建、批判与完善——是科学教育和探究式学习中的基础实践[22 (https://arxiv.org/html/2606.11210#bib.bib17),18 (https://arxiv.org/html/2606.11210#bib.bib67)]。关于探究式学习的进一步描述见第 2.1 节。这种基于探究循环的科学学习形式对 LLM 集成提出了独特挑战，因为它不仅要求可视化，还要求迭代性和交互性。现有的面向教育的多模态架构要么不尝试实现多步交互，要么在尝试时常常面临技术问题[9 (https://arxiv.org/html/2606.11210#bib.bib29),7 (https://arxiv.org/html/2606.11210#bib.bib26)]。这些技术问题将在第 2 节中进一步讨论。结果导致在 AI 与教育领域，LLM 集成到科学学习和探究式学习中时，默认仍为纯文本交互[12 (https://arxiv.org/html/2606.11210#bib.bib25)]。我们的工作提出了一种 LLM 辅助架构——文本到多模态模型（Text To Multimodal Model，T2MM），该架构接收学习者的文本请求，并在一个专注于生态的概念建模与模拟平台 VERA 中辅助模型创建。据我们所知，这是首个在 AI 教育领域利用 LLM 生成的动作序列（基于学习者当前模型状态）来支持交互式概念建模的架构。我们使用一个自定义程序生成的数据集来评估 T2MM，该数据集包含 975 个文本模型创建请求与目标模型对。作为基线，我们创建了两种替代架构：零样本提示（0-Shot）和 N 样本提示（N-Shot）。这两种模型创建架构依赖于 LLM 生成的代码，这在文献的其他部分很常见[24 (https://arxiv.org/html/2606.11210#bib.bib24),7 (https://arxiv.org/html/2606.11210#bib.bib26)]。我们证明，在评估模型结构的所有成功指标上，T2MM 均优于基线，这些指标包括：成功编译、生成模型与目标模型之间的图编辑距离、基于学习者请求模型大小的成功率（按目标动作序列长度衡量），以及基于学习者建模请求类型的成功率。

## 2 背景

### 2.1 科学学习中的模型构建

模型构建是科学教育的核心练习，因为它以缩微形式模拟了科学探究过程[22 (https://arxiv.org/html/2606.11210#bib.bib17),23 (https://arxiv.org/html/2606.11210#bib.bib16)]。科学家在实践过程中，能够构建模型并通过概念建模和模拟迭代地进行科学过程[6 (https://arxiv.org/html/2606.11210#bib.bib23)]。正因如此，科学教育引入了交互式学习环境（Interactive Learning Environments）[4 (https://arxiv.org/html/2606.11210#bib.bib86),2 (https://arxiv.org/html/2606.11210#bib.bib22)]，学生可以在其中构建科学模型。这使得科学教育能够反映科学实践的真实面貌[8 (https://arxiv.org/html/2606.11210#bib.bib8),10 (https://arxiv.org/html/2606.11210#bib.bib5)]。然而，科学学习，特别是项目式学习或探究式学习方法，要求学习者具有交互性。基于建构主义理论，这种交互性表现为提出假设、检验假设、评估假设，这一过程不断重复，被称为探究循环[1 (https://arxiv.org/html/2606.11210#bib.bib68)]。本研究的关键在于，完成科学探究的所有步骤对于学习成效是必要的[14 (https://arxiv.org/html/2606.11210#bib.bib2)]。VERA 便是这类交互式学习环境的一个例子，它基于一个适用于科学学习的生态本体构建，允许学生完成完整的探究循环。因此，任何阻碍其中一个步骤的工具都会影响学习成效。

### 2.2 多模态 LLM 架构

最近的架构如 MuDoc[20 (https://arxiv.org/html/2606.11210#bib.bib28)] 将多模态引入 LLM 辅助的学习环境。MuDoc 从教科书 PDF 中检索图片，并将其用作问答的补充材料。在 Bewersdorff 等人的一篇综述中，描述了多模态 LLM 在科学学习中的可能应用，其中图表（即模型）创建被列为预期的应用方向[3 (https://arxiv.org/html/2606.11210#bib.bib10)]。然而，在人工智能与教育领域，尚无文献研究 LLM 创建的交互式模型。尽管先前的系统[9 (https://arxiv.org/html/2606.11210#bib.bib29),7 (https://arxiv.org/html/2606.11210#bib.bib26)]已经展示了 LLM 辅助的自动绘图在数学学习中的应用，但该工作中记录的技术局限性限制了其在科学学习情境中的适用性——因为科学学习的关键在于交互式、迭代性的模型构建。Christie 等人的研究[9 (https://arxiv.org/html/2606.11210#bib.bib29)]使用 LLM 辅助的函数调用来显示基于学习者文本数学请求的 Desmos 绘图。该系统依赖于完整图表生成，缺乏对当前显示给学习者的图表的上下文感知。Bulusu 等人的工作[7 (https://arxiv.org/html/2606.11210#bib.bib26)]也研究了自动图表生成，但还另外依赖一个包含 Wolfram Alpha 的管道来增强 Desmos 图表生成。虽然该系统具有上下文感知能力，能够考虑学习者的当前图表状态，但多步操作被留作未来工作。这两个系统都将其架构与完整代码生成作为基线进行比较，要么在方法部分明确说明，要么在讨论中隐含提及。自动模型创建的研究也存在于 AI 与教育领域之外[24 (https://arxiv.org/html/2606.11210#bib.bib24)]。作者开发了一个使用 LLM 生成 Draw.io XML 的管道，Draw.io 使用与 VERA 相同的 MxGraph 包。此外，他们还开发了一个简单的自动 XML 验证工具，用于纠正 LLM 返回的格式错误的 XML。与上述架构不同，他们为学习者创建了完全交互式的模型。然而，该系统 (1) 通过代码生成实现模型构建，而代码生成已被证明不可靠[9 (https://arxiv.org/html/2606.11210#bib.bib29),7 (https://arxiv.org/html/2606.11210#bib.bib26)]，且 (2) 仅基于 10 个示例的样本量进行评估。此外，VERA 基于生态的本体对代码生成提出了特定挑战，因为它需要的不仅仅是格式正确的 XML。尽管如此，我们还是将代码生成引擎作为比较基线。

## 3 方法

请参阅图注

图 1: T2MM 架构图

我们的架构如图 1 所示。在高层面上，该系统由三个主要组件组成：
1. 1. VERA 系统：VERA 系统在第 3.1 节中概述。T2MM 系统通过三种方式与之交互：(1) 学习者通过 VERA 聊天界面请求创建模型；(2) 在学习者请求后查询 VERA 数据库，其模型的 XML 表示被返回给 T2MM；(3) T2MM 随后基于 LLM 输出调用 VERA API。API 将模型写入数据库，前端随之更新以供学习者查看。
2. 2. T2MM：T2MM 在第 3.2 节中进一步讨论。简言之，它从 VERA 数据库请求 XML，将其转换为 JSON，并将该 JSON 连同提示和学习者文本请求一起发送给 LLM。然后 T2MM 从 LLM 系统接收动作序列，这些序列描述了需要在当前模型上执行的不同操作以创建目标模型，例如“创建节点”、“编辑关系”或“删除节点”。这些动作序列会经过本体验证器检查，确保这些动作在 VERA 本体下被允许；如果允许，它们将被作为请求发送给 VERA API，从而构建模型。
3. 3. LLM 系统：当前 LLM 系统为 ChatGPT 4.1-mini。可通过 OpenAI API 访问。选择 GPT 4.1-mini 是因为在分析时，它提供了最合适的性价比。

### 3.1 VERA

生态建模与模拟系统 VERA [引用匿名化用于评审] 是一个基于网络的生态概念建模软件。图 2 展示了 VERA 中的一个模型。

请参阅图注

图 2: 一个 VERA 模型，表示狩猎和伐木对生态系统的影响

模型使用 Java MxGraph 包构建，类似于 Draw.io。模型随后被编译[引用匿名化用于评审]为 NetLogo[21 (https://arxiv.org/html/2606.11210#bib.bib105)] 后端用于模拟，该后端以时间序列形式表示各种非生物（如雨、阳光）和生物（如植物、动物、真菌）的种群水平。前端为学习者提供一个画布，画布上带有代表生物和非生物的节点，学习者可以拖放这些节点。每个生物节点有十三个可能的参数，表示诸如寿命、碳生物量或后代数量等描述。在任何生物节点与非生物节点的组合之间，学习者可以绘制五种关系中的任意一种：影响、毁灭、死亡变成、消耗、生产。每种关系还最多有六个参数中的两个，用于改变节点间的交互，包括交互概率和消耗率。所有这些描述模型的数据都通过 XML 存储在 VERA 数据库中。完整构建的模型过于冗长，无法在本文中展示，但为了便于理解，可以将其视为经典的计算机科学图，其中节点和边都包含参数。以下是空模型的 XML 表示：

### 3.2 T2MM 架构及示例

T2MM 架构的内部细节如图 1 所示。

#### 3.2.1 模型 XML 检索器

模型 XML 检索器从 VERA 数据库中拉取 XML，例如上面展示的示例。

#### 3.2.2 XML 到 JSON 转换器

然后将 XML 转换为最小尺寸的 JSON 表示。对于空模型，会发送一个空的节点和关系集合。下面给出一个简单模型：

```json
"nodes":[
  {"id":1,"name":"lichen","type":"biotic","properties":{}},
  {"id":2,"name":"frog","type":"biotic","properties":{}}
],
"relationships":[
  {"id":3,"source":"lichen","target":"frog","source_id":1,"target_id":2,"type":"Destroys","properties":{}}
]
```

#### 3.2.3 LLM 请求器

转换后的 JSON 与学习者请求以及概述 VERA 本体的提示相结合。以本节给出的模型为例，学习者请求为：“删除节点 lichen 及其关系”。提示中还包含 N 样本示例，展示学习者请求、模型 JSON 以及预期的 LLM 返回动作。

#### 3.2.4 动作序列解析器

动作序列解析器读取 LLM 返回的动作序列，其形式如下面的代码所示。每个动作对应模型可以执行的一项更改。

```json
[
  {"action":"remove_relationship","id":3},
  {"action":"remove_node","target":"lichen","target_id":1}
]
```

动作序列解析器逐条读取动作，并验证它们在 VERA 本体中是否可接受。具体来说，它确保生物的参数命名正确，以及生物与非生物之间的关系可接受（例如，非生物消耗生物是不合理的）。这些结构化命令构成了构建或编辑概念模型的一系列步骤，可以直接被 VERA 后端解释。

#### 3.2.5 VERA API 调用器

动作序列随后被映射到 VERA API，该 API 将 XML 写入 VERA 数据库。每个动作映射到一个后端方法，例如 `addNode()`、`addRelationship()` 或 `updateParameter()`，这些方法更新内部模型表示。这确保了所有模型更新都能生成格式正确的 XML，可以被 VERA 系统编译。更新后的模型会实时渲染到 VERA 画布上。

### 3.3 数据集

数据集由两部分组成：提交给 LLM 的文本描述请求，以及从研究科学家创建的专业模型生成的 JSON 代码。首先，我们从研究科学家创建的一组五个专业 XML 模型出发，采取了一系列步骤来增加数据集的大小，所有这些步骤都对应于学习者在 VERA 中可执行的操作集合：(1) 节点创建或删除，(2) 关系创建或删除，(3) 节点或关系的参数调整。首先，我们将专业模型转换为我们的 JSON 格式（可以使用 VERA API 重新转换回 XML），以便更简单地操作。其次，我们保留了专业模型的结构，并手动将其分解为不同的创建阶段，从空模型到完整模型。接下来，我们替换了各种名称和类型……（此处原文被截断，根据上下文推测应继续描述数据集的生成步骤）