LessonBench-V1：评估AI课程生成代理的基准数据集

# LessonBench-V1：用于评估AI课程生成智能体的基准数据集
来源：https://arxiv.org/html/2607.13041
1诺丁汉特伦特大学计算机科学系，英国诺丁汉
通讯作者：1电子邮件：[email protected]
2诺丁汉特伦特大学物理与数学系，英国诺丁汉
Ahmad LotfiIsibor Kennedy IhianleGolnaz ShahtahmassebiJordan J. Bird

###### 摘要

基于大语言模型（LLM）的AI教育内容生成系统正在日益发展，但目前尚无标准化的基准来系统地评估它们。本研究引入了LessonBench-V1，这是一个基准数据集，包含647篇由人类编写的课程，以及基于LLM逆向工程生成的课程计划，涵盖数学、物理、化学和计算机科学240个STEM主题。这些课程来自97个可信赖的开放资源，包括LibreTexts、Brilliant.org和GeeksForGeeks。每个课程计划都经过人工审核，并通过一种基于教学法的方法生成，该方法综合了布鲁姆分类学、加涅的九大教学事件、梅里尔的首要教学原理和5E教学模式。课程计划包含了3,620个学习目标及其教学元数据，从而能够对课程生成AI智能体进行系统性、可复现的评估，并支持进一步的研究。本研究还提出了一个与该数据集配套的三维评估管道。

## 1 引言

大语言模型（LLM）越来越多地被用于生成教育内容，从辅导支持到完整的解释性课程[4 (https://arxiv.org/html/2607.13041#bib.bib10),9 (https://arxiv.org/html/2607.13041#bib.bib6),11 (https://arxiv.org/html/2607.13041#bib.bib9)]。一个新兴的任务是*课程生成*：给定一个结构化的、足够详细的课程计划，指定主题、学习目标和首选的教学交付方式，自动化AI系统生成完整的课程。然而，根据人类专家标准评估此类AI生成课程的质量仍然是一个开放挑战[11 (https://arxiv.org/html/2607.13041#bib.bib9)]，并且目前没有标准化的基准将结构化的课程计划与相应的人类编写课程配对以进行系统评估。

现有的教育数据集，如MathDial[9 (https://arxiv.org/html/2607.13041#bib.bib6)]、TutorEval[3 (https://arxiv.org/html/2607.13041#bib.bib11)]和EduChat[4 (https://arxiv.org/html/2607.13041#bib.bib10)]，解决了类似的问题。TheoremExplainBench[6 (https://arxiv.org/html/2607.13041#bib.bib12)]提供了240个STEM主题描述及其难度评级，但未提供参考课程。开放教育资源（如LibreTexts[7 (https://arxiv.org/html/2607.13041#bib.bib13)]）提供教科书章节和其他高质量文章，但缺乏结构化的配对课程计划。这些数据集并未捕捉到AI生成智能体将遵循的完整计划到课程的管道。

针对这些问题，本篇短文提出了以下两项关键贡献：1）LessonBench-V1：第一个开源[^11]基准数据集，将结构化的课程计划与专家编写的课程配对，涵盖240个STEM主题和四个学科，包含来自97个独特教育来源的647个配对样本。该数据集通过一个可复现的多阶段数据整理管道构建，包括从网络来源收集、清理、结构化和审核教育内容。2）一种基于教学研究的方法，用于逆向工程课程计划，整合了布鲁姆分类学[1 (https://arxiv.org/html/2607.13041#bib.bib1)]、加涅的九大教学事件[5 (https://arxiv.org/html/2607.13041#bib.bib3)]、梅里尔的首要教学原理[10 (https://arxiv.org/html/2607.13041#bib.bib4)]和5E模型[2 (https://arxiv.org/html/2607.13041#bib.bib5)]，从现有课程中提取详细、结构化的教学蓝图。

[^11]: LessonBench-V1数据集：https://github.com/SuienS/lesson-bench-v1

## 2 相关工作

#### 教育AI基准。

一些基准评估了教育环境中的AI，但没有一个涵盖完整的计划到课程管道，如表1 (https://arxiv.org/html/2607.13041#S2.T1)所示。MathDial[9 (https://arxiv.org/html/2607.13041#bib.bib6)]提供了3,000个师生对话用于辅导评估，TutorEval[3 (https://arxiv.org/html/2607.13041#bib.bib11)]评估LLM在科学辅导中的表现，而EduChat[4 (https://arxiv.org/html/2607.13041#bib.bib10)]专注于教育聊天机器人设计。TheoremExplainBench[6 (https://arxiv.org/html/2607.13041#bib.bib12)]提供了240个STEM主题，构成了本工作的基础，但不包含参考课程。

#### 教学设计框架。

LessonBench-V1中的课程计划通过整合四个成熟的教学框架构建。布鲁姆修订版分类学[1 (https://arxiv.org/html/2607.13041#bib.bib1)]提供了六个认知水平来标记学习目标。加涅的九大教学事件[5 (https://arxiv.org/html/2607.13041#bib.bib3)]指导了教学流程，与梅里尔的首要教学原理[10 (https://arxiv.org/html/2607.13041#bib.bib4)]和BSCS 5E模型[2 (https://arxiv.org/html/2607.13041#bib.bib5)]共同作用。LessonBench课程计划将这些统一为六个教学角色：动机、激活、演示、应用、整合和评估，全面覆盖教学流程。

#### LLM用于教育内容。

近期工作探索了LLM用于教育材料的生成[11 (https://arxiv.org/html/2607.13041#bib.bib9)]。然而，大多数评估依赖于临时的人工判断或LLM作为评判者的方法[13 (https://arxiv.org/html/2607.13041#bib.bib14)]，而不是依赖于可复现的、基于参考的基准。LessonBench-V1旨在提供这一缺失的参考数据集，以实现系统和可复现的评估。

表1：与现有教育AI数据集的比较。

## 3 数据集构建

### 3.1 来源数据与主题选择

本研究选择的教育主题来自TheoremExplainBench[6 (https://arxiv.org/html/2607.13041#bib.bib12)]，包括数学、物理、化学和计算机科学中的240个主题，分为三个难度级别：简单、中等、困难。对于每个主题，LessonBench-V1包含来自各种教育来源的1-5篇人类编写课程，共647篇课程。每篇课程都附有相应的课程计划。来源选择优先考虑可靠、开放访问且具有教学结构的内容。97个来源网站涵盖开放式教科书平台（如LibreTexts，占比47%），其中包括来自各种高质量来源的资源，以及教育门户网站（如GeeksForGeeks占比9%、Byjus占比8%、Brilliant.org占比5%）。

### 3.2 多阶段整理管道

见图1说明
图1：LessonBench构建管道
1. 1. Web数据收集：收集并下载相关来源，包括相关图像。
2. 2. HTML到Markdown转换：使用html-to-markdown Python库将下载的HTML内容转换为Markdown。
3. 3. 基于LLM的Markdown清理：生成的Markdown通常包含不必要的网页抓取伪影，例如导航文本、损坏的LaTeX公式和不相关的网页内容。使用精心设计的提示词[^22]与Qwen 3.6 35B A3B，跨十个已识别类别修复格式问题，同时逐字保留相关教育内容，不进行重写、总结或添加内容。
4. 4. 课程计划逆向工程：使用一个基于教学研究的提示词[^33]（通过GitHub Copilot API访问GPT-4.1），从每篇清理后的课程中逆向工程出一个结构化的课程计划。该提示词旨在整体“逆向工程”教学蓝图，而不总结内容。生成的计划包含六个部分：元数据、学习目标、关键概念与核心问题、教学流程、实践与应用策略、教学策略。每个课程计划[^44]遵循一个基于四个教学框架的结构化模板。学习目标使用布鲁姆修订版分类学动词[1 (https://arxiv.org/html/2607.13041#bib.bib1)]，并标记到六个认知水平之一。教学流程阶段用来源于交叉映射加涅的九大教学事件[5 (https://arxiv.org/html/2607.13041#bib.bib3)]、梅里尔原则[10 (https://arxiv.org/html/2607.13041#bib.bib4)]和5E模型[2 (https://arxiv.org/html/2607.13041#bib.bib5)]的六个细化角色进行注释：*动机*、*激活*、*演示*、*应用*、*整合*和*评估*。
5. 5. 人工审核：然后审核清理后的课程和创建的课程计划，以识别任何进一步的格式或结构问题，并手动修复。

[^22]: MD修复系统提示词：https://github.com/SuienS/lesson-bench-v1/blob/main/prompts/MD_Cleanup_Prompt.md
[^33]: 课程计划逆向工程系统提示词：https://github.com/SuienS/lesson-bench-v1/blob/main/prompts/LessonPlan_Creation_prompt.md
[^44]: 示例课程计划：https://github.com/SuienS/lesson-bench-v1/blob/main/LessonBench/data/topic_000/lesson_000_0/lesson_plan/lesson_plan.md

## 4 数据集分析

表2 (https://arxiv.org/html/2607.13041#S4.T2)总结了LessonBench-V1的关键统计信息。该数据集包含240个主题上的647对课程和课程计划。人类编写的课程平均为1,744个单词，而课程计划明显更短，平均为938个单词。

表2：LessonBench数据集汇总统计。
#### 布鲁姆分类学分布。

在所有647篇课程中，提取了3,620个学习目标，每个目标分配一个布鲁姆分类学水平，如图2 (https://arxiv.org/html/2607.13041#S4.F2)所示。

见图2说明
图2：不同学科中布鲁姆分类学水平（左）和教学角色（右）的分布
#### 教学角色分布。

5,623个解析后的教学角色注释的分布如图2 (https://arxiv.org/html/2607.13041#S4.F2)所示。教学元数据中可见按学科特定的模式。数学课程中“应用”级别目标的比例最高，反映了对程序性问题解决的重视。物理课程中“理解”目标的比例最高，这与概念解释是物理教学核心相一致。计算机科学课程的布鲁姆分布最为均衡，其中“分析”级别内容显著，侧重于算法分析。

## 5 基准评估框架

LessonBench-V1支持对AI课程生成系统进行系统性评估，该系统接收课程计划并生成完整课程。给定数据集中的课程计划P_i，AI系统生成课程L̂_i，然后与相应的人类编写参考课程L_i进行比较。这反映了现实世界的用例：课程设计者编写计划，AI智能体生成课程。

LessonBench可在三个互补的评估维度上使用：1）*语义相似度*：通过BERTScore[12 (https://arxiv.org/html/2607.13041#bib.bib15)]衡量上下文重叠；2）*结构相似度*：通过ROUGE-L[8 (https://arxiv.org/html/2607.13041#bib.bib16)]捕获最长公共子序列重叠；3）*教学对齐度*：通过从生成的课程中逆向工程课程计划，并将布鲁姆水平覆盖度和角色分布与原始计划进行比较。此外，数据集中的元数据（来源于TheoremExplainBench）能够针对学科和难度等方面对这些维度进行系统性分析。

## 6 结论与未来工作

本篇短文介绍了LessonBench-V1，这是一个基准数据集，将结构化的课程计划与专家编写的课程配对，涵盖四个STEM学科的240个主题，共产生647个配对样本。该数据集通过一个可复现的五阶段管道收集和构建。我们的初步分析显示，所收集的课程在不同学科和难度级别上具有有意义的模式，证实了其有效性。

#### 局限性与未来工作。

该数据集的课程计划是使用GPT 4.1生成的。尽管在最终编译数据集之前已对生成的计划进行了审核，但我们计划进行系统性实验，以统计验证其相对于专家编写的课程计划基线的完整性和准确性。该数据集目前仅来源于英语资源，未来版本将包含来自多种语言的课程。此外，该数据集是更大研究工作的初步步骤，旨在开发一个完整的端到端课程生成AI智能体，计划在该数据集上对其进行评估。

## 参考文献

- [1]L. W. Anderson and D. R. Krathwohl(2001)A taxonomy for learning, teaching, and assessing: A revision of Bloom’s taxonomy of educational objectives.Longman.Cited by:§1 (https://arxiv.org/html/2607.13041#S1.p3.1),§2 (https://arxiv.org/html/2607.13041#S2.SS0.SSS0.Px2.p1.1),item 4 (https://arxiv.org/html/2607.13041#S3.I1.i4.p1.1).
- [2]R. W. Bybee(2015)The BSCS 5E Instructional model: Creating Teachable Moments.National Science Teachers Association.Cited by:§1 (https://arxiv.org/html/2607.13041#S1.p3.1),§2 (https://arxiv.org/html/2607.13041#S2.SS0.SSS0.Px2.p1.1),item 4 (https://arxiv.org/html/2607.13041#S3.I1.i4.p1.1).
- [3]A. Chevalier, J. Geng,et al.(2024)Language models as science tutors.arXiv preprint arXiv:2402.11111.Cited by:§1 (https://arxiv.org/html/2607.13041#S1.p2.1),§2 (https://arxiv.org/html/2607.13041#S2.SS0.SSS0.Px1.p1.1),Table 1 (https://arxiv.org/html/2607.13041#S2.T1.1.4.3.1).
- [4]Y. Dan, Z. Lei, Y. Gu,et al.(2025)EduChat: A Large Language Model-Based Conversational Agent for Intelligent Education.InChina Conference on Knowledge Graph and Semantic Computing and International Joint Conference on Knowledge Graphs,Vol.2229,pp. 297–308(en).External Links:ISBN 978-981-96-1808-8 978-981-96-1809-5,Document (https://dx.doi.org/10.1007/978-981-96-1809-5%5F22)Cited by:§1 (https://arxiv.org/html/2607.13041#S1.p1.1),§1 (https://arxiv.org/html/2607.13041#S1.p2.1),§2 (https://arxiv.org/html/2607.13041#S2.SS0.SSS0.Px1.p1.1).
- [5]R. M. Gagné(1985)The Conditions of Learning and Theory of Instruction.4th edition,Holt, Rinehart and Winston.Cited by:§1 (https://arxiv.org/html/2607.13041#S1.p3.1),§2 (https://arxiv.org/html/2607.13041#S2.SS0.SSS0.Px2.p1.1),item 4 (https://arxiv.org/html/2607.13041#S3.I1.i4.p1.1).
- [6]M. Ku, C. H. Chong, J. Leung,et al.(2025)TheoremExplainAgent: Towards Video-based Multimodal Explanations for LLM Theorem Understanding.InProceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers),Vienna, Austria,pp. 6663–6684(en).External Links:Document (https://dx.doi.org/10.18653/v1/2025.acl-long.332)Cited by:§1 (https://arxiv.org/html/2607.13041#S1.p2.1),§2 (https://arxiv.org/html/2607.13041#S2.SS0.SSS0.Px1.p1.1),Table 1 (https://arxiv.org/html/2607.13041#S2.T1.1.2.1.1),§3.1 (https://arxiv.org/html/2607.13041#S3.SS1.p1.1).
- [7]LibreTexts(2026)LibreTexts - Free the Textbook.Libretexts.org.External Links:Link (https://libretexts.org/)Cited by:§1 (https://arxiv.org/html/2607.13041#S1.p2.1),Table 1 (https://arxiv.org/html/2607.13041#S2.T1.1.5.4.1).
- [8]C. Lin(2004)Rouge: a package for automatic evaluation of summaries.InText summarization branches out,pp. 74–81.Cited by:§5 (https://arxiv.org/html/2607.13041#S5.p2.1).
- [9]J. Macina, N. Daheim,et al.