StudentBench: 人工智能与人类辅导在GRE学习成效上相当

Hugging Face Daily Papers 论文

摘要

StudentBench研究发现,人工智能辅导在GRE题目上的学习成效与人类辅导相当,其中一个人工智能导师以显著更低的成本取得了类似的结果。

人工智能为增强人类能力提供了前所未有的机会,但前沿进展主要集中在提升模型能力上。我们介绍了StudentBench,这是一套人工智能教学评估工具和一个公共平台,能够进行大规模数据收集,包含超过175,000条学生-AI消息,以研究大语言模型(LLMs)是否能产生与人类辅导相当的学习成效。使用StudentBench,我们测量了2,383名参与者在接收人工智能辅导、人类辅导或无辅导情况下,在GRE定量和语言部分题目上的学习成效。我们确定人工智能辅导在GRE学习成效上与专家人类辅导在统计学上等价(p = .015),并且在七个GRE领域中的五个,最佳人工智能导师的平均表现优于人类导师。在第二项研究中,专家人类导师通过2,028次配对标准评估比较了LLM生成的课程计划和练习问题。综合两项研究,人工智能导师在以下方面明显区分开来:(1) 课程计划,(2) 练习问题创建,(3) 对话教学法,(4) 成本,和(5) 参与度。令人惊讶的是,一个人工智能导师以显著更低的成本取得了与人类辅导相当的学习成效(p = .044),成本降低了918倍(人工智能为0.0052美元,人类为4.81美元,每百分点增益)。对于GRE定量部分的会话,更快的AI回复与更多的学生消息、更多消息带来更正确练习以及更正确练习带来更大学习成效相关(所有p < .002)。StudentBench平台可免费访问,网址为https://studentbench.org。
查看原文
查看缓存全文

缓存时间: 2026/09/24 07:40

论文页面 - StudentBench:人工智能与人类辅导在GRE学习增益上效果相当

来源:https://huggingface.co/papers/2609.28470

摘要

人工智能为增强人类能力提供了前所未有的机遇,但目前前沿进展主要集中于提升模型能力。我们推出StudentBench,这是一套AI教学评估工具及公共平台,支持大规模数据收集(包含超过175,000条学生-AI对话),旨在探究大语言模型(LLMs)能否产生与人类辅导相当的学习效果。通过StudentBench,我们在2,383名参与者的定量与语言GRE题目中,测量了接受AI辅导、人类辅导或无辅导三种情况下的学习增益。研究证实,AI辅导在GRE学习增益方面与专业人类辅导具有统计等效性(p=.015),且在七个GRE领域中的五个领域,表现最优的AI导师平均超越了人类导师。在第二项研究中,专业人类导师通过2,028次配对标准化评分,比较了LLM生成的课程计划与练习题。两项研究清晰区分了AI导师在以下五个方面的差异:(1)课程规划,(2)练习题创建,(3)对话教学法,(4)成本,(5)参与度。令人惊讶的是,某个AI导师在实现与人类辅导等效的学习增益(p=.044)的同时,成本仅为后者的1/918(AI每提升一个百分点耗资0.0052美元 vs 人类4.81美元)。针对定量GRE课程,AI更快的回复速度与更多学生消息、更多包含正确练习的消息,以及正确练习与更大学习增益的关联性均显著(所有p<.002)。StudentBench平台可在此免费获取:https://studentbench.org。

查看arXiv页面 (https://arxiv.org/abs/2609.28470) | 查看PDF (https://arxiv.org/pdf/2609.28470) | 项目页面 (https://studentbench.org/) | GitHub仓库 (https://github.com/Handshake-AI-Research/studentbench) | 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.28470)

通过您的代理获取此论文: hf papers read 2609.28470

尚未安装最新CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型:0

暂无模型关联此论文
在模型README.md中引用 arxiv.org/abs/2609.28470 可从本页链接至该论文。

引用此论文的数据集:1

handshake-ai-research/studentbench 预览 • 约3小时前更新 • 148次下载 (https://huggingface.co/datasets/handshake-ai-research/studentbench)

引用此论文的Space:0

暂无Space关联此论文
在Space README.md中引用 arxiv.org/abs/2609.28470 可从本页链接至该论文。

包含此论文的合集:0

暂无合集收录此论文
将此论文加入合集 (https://huggingface.co/new-collection) 可从本页链接至该合集。

相似文章