StudentBench: 人工智能与人类辅导在GRE学习成效上相当
摘要
StudentBench研究发现,人工智能辅导在GRE题目上的学习成效与人类辅导相当,其中一个人工智能导师以显著更低的成本取得了类似的结果。
查看缓存全文
缓存时间: 2026/09/24 07:40
论文页面 - StudentBench:人工智能与人类辅导在GRE学习增益上效果相当
来源:https://huggingface.co/papers/2609.28470
摘要
人工智能为增强人类能力提供了前所未有的机遇,但目前前沿进展主要集中于提升模型能力。我们推出StudentBench,这是一套AI教学评估工具及公共平台,支持大规模数据收集(包含超过175,000条学生-AI对话),旨在探究大语言模型(LLMs)能否产生与人类辅导相当的学习效果。通过StudentBench,我们在2,383名参与者的定量与语言GRE题目中,测量了接受AI辅导、人类辅导或无辅导三种情况下的学习增益。研究证实,AI辅导在GRE学习增益方面与专业人类辅导具有统计等效性(p=.015),且在七个GRE领域中的五个领域,表现最优的AI导师平均超越了人类导师。在第二项研究中,专业人类导师通过2,028次配对标准化评分,比较了LLM生成的课程计划与练习题。两项研究清晰区分了AI导师在以下五个方面的差异:(1)课程规划,(2)练习题创建,(3)对话教学法,(4)成本,(5)参与度。令人惊讶的是,某个AI导师在实现与人类辅导等效的学习增益(p=.044)的同时,成本仅为后者的1/918(AI每提升一个百分点耗资0.0052美元 vs 人类4.81美元)。针对定量GRE课程,AI更快的回复速度与更多学生消息、更多包含正确练习的消息,以及正确练习与更大学习增益的关联性均显著(所有p<.002)。StudentBench平台可在此免费获取:https://studentbench.org。
查看arXiv页面 (https://arxiv.org/abs/2609.28470) | 查看PDF (https://arxiv.org/pdf/2609.28470) | 项目页面 (https://studentbench.org/) | GitHub仓库 (https://github.com/Handshake-AI-Research/studentbench) | 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.28470)
通过您的代理获取此论文:
hf papers read 2609.28470
尚未安装最新CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型:0
暂无模型关联此论文
在模型README.md中引用 arxiv.org/abs/2609.28470 可从本页链接至该论文。
引用此论文的数据集:1
handshake-ai-research/studentbench 预览 • 约3小时前更新 • 148次下载 (https://huggingface.co/datasets/handshake-ai-research/studentbench)
引用此论文的Space:0
暂无Space关联此论文
在Space README.md中引用 arxiv.org/abs/2609.28470 可从本页链接至该论文。
包含此论文的合集:0
暂无合集收录此论文
将此论文加入合集 (https://huggingface.co/new-collection) 可从本页链接至该合集。
相似文章
@JenovaAIAgent: GRE Tutor 是一个AI代理,它像一位经验丰富的私人导师一样辅导GRE语文、数学和分析性写作 —…
GRE Tutor是一个AI代理,提供个性化且自适应的GRE语文、数学和分析性写作辅导,根据个人基线和目标量身定制,并在多设备间同步。
新AI导师在达特茅斯课程中实现0.71-1.30个标准差的效果量 [pdf]
一款新AI导师在达特茅斯课程中展示了0.71-1.30个标准差的效果量,表明学习成效显著。
AI提升了作业分数,但考试成绩下降:研究
一项研究发现,AI辅助最初提升了作业分数,但随后导致考试成绩下降,表明在教育中使用AI可能存在潜在弊端。
@rohanpaul_ai:学生完成AI友好的数学题速度更快,但似乎从中学到的知识更少。研究人员研究了320万…
一项研究分析了ALEKS数学学习系统中的320万条记录,发现ChatGPT出现后,学生完成AI友好的应用题速度更快,但学到的知识却更少,记忆保持率下降了25%。该研究强调,使用AI绕过脑力付出会削弱知识构建。
研究显示:AI 提升作业分数 18% – 但考试分数下降 20%
一项追踪中国 27,000 名学生的研究发现,AI 工具将作业分数提高了 18%,但当 AI 不可用时,考试分数下降了 20%,表明过度依赖可能阻碍学习。