人工评分还是AI评分：课堂观察中AI评分的比较评估

arXiv cs.CL 论文
ai-education llm-scoring classroom-assessment gpt-5 edtech research-paper

摘要

本研究评估了使用GPT-5对早期儿童课堂中师幼互动进行评分，与人类评分者进行比较，发现部分一致性，但在全面评估中存在局限性。

arXiv:2609.18274v1 公告类型：新 摘要：课堂观察被广泛认为是建立教育质量基准和指导教学改进的关键工具，但其仍然资源密集且依赖训练有素的观察者。本研究评估了使用大型语言模型（GPT-5模型）对早期儿童课堂中师幼互动进行评分的可行性，并以人类评分者为基准。该研究分析了香港30所幼儿园中38个课堂的87个视频录制观察。使用观察转录稿，AI模型被配置应用完整的课堂评估评分系统（CLASS）框架。然后通过检查CLASS领域和维度的平均分相关性和差异，将AI评分与人类评分进行比较。结果显示，AI与评分者在情感支持领域，特别是质量反馈维度上的一致性更高，该维度捕捉了教师如何利用反馈扩展儿童学习。在更程序化或依赖于上下文的互动中出现了更大的差异，特别是在课堂组织和教学支持领域。这些发现表明，基于转录稿的AI评分可能捕捉师幼互动中的部分相对差异，但尚不能在整个CLASS框架中一致地再现校准过的人类判断。因此，AI辅助观察更适合作为初步筛选工具，而非训练有素观察者的替代品，为教师提供反思证据而非高风险评估。未来的研究应检查特定领域的训练以及上下文和视觉信息的纳入是否能提高AI与人类评分之间的一致性。
查看原文
查看缓存全文

缓存时间: 2026/09/17 09:12 

# 我编码还是AI编码：课堂观察中AI评分的比较评估
来源：https://arxiv.org/abs/2609.18274
查看PDF (https://arxiv.org/pdf/2609.18274)

> 摘要：课堂观察被广泛认为是建立教育质量基准和指导教学改进的关键工具，但其实施仍然资源密集且依赖训练有素的观察者。本研究评估了使用大语言模型（GPT-5模型）对早期教育课堂中师幼互动进行评分的可行性，并以人类评分者为基准进行比较。研究分析了香港30所幼儿园中38个课堂的87段录像观察记录。通过观察记录文本，AI模型被配置应用完整的课堂评估评分系统（CLASS）框架。随后，通过考察CLASS领域和维度的相关性及平均分差异，将AI评分与人类评分进行比较。结果显示，在情感支持领域，尤其是反映教师如何利用反馈拓展儿童学习的反馈质量维度上，AI与人类评分者表现出较高的一致性。而在更具程序性或依赖特定情境的互动中，特别是在课堂组织和教学支持领域，分歧则更为明显。这些发现表明，基于文本的AI评分或许能捕捉师幼互动中的一些相对变化，但尚无法在整个CLASS框架中始终如一地复现经过校准的人类判断。因此，AI辅助观察可能更适合作为一种初步筛查工具，而非替代训练有素的观察者，为教师提供反思依据而非高风险性评估。未来研究应探讨领域特定训练以及整合情境与视觉信息是否能提升AI评分与人类评分之间的一致性。

## 提交历史
提交者：Yasmin Fong \[查看邮箱 (https://arxiv.org/show-email/5f0fb1b9/2609.18274)\] **\[v1\]** 2026年9月16日 星期三 07:53:28 UTC（558 KB）

相似文章

先竞争后协作：前沿AI教师构建可验证课程，使编程学生超越模仿

arXiv cs.AI

本文介绍了一种先竞争后协作的框架，多个前沿AI教师（Claude、Codex-GPT、Grok、Gemini）通过执行测试排名，然后协作构建可验证课程。研究发现，对教师解决方案进行模仿（SFT）会降低有能力的编程学生的表现，而使用相同课程进行带可验证奖励的强化学习（RLVR）则能提升表现，尤其是在竞赛问题上。

利用人工智能进行教学

OpenAI Blog

OpenAI分享了教育工作者关于将ChatGPT等人工智能工具融入教学的观点,包括利用AI提供语言支持以及教导学生批判性思考AI生成内容的方法。