EdNet日志的学习策略聚类追踪参与度而非掌握度

arXiv cs.LG 论文

摘要

该论文表明,来自EdNet日志的学习策略聚类可以预测学习者的参与度,但不能预测掌握度,强调仅基于行为的分析不足以评估知识获取。

arXiv:2608.16963v1 公告类型:新 摘要:学习分析通常将智能辅导系统(ITS)日志的无监督聚类视为应能预测学习效果的学习者类型。我们在EdNet-KT3上测试了这一假设。对5,000名活跃学习者的学习策略特征(资源使用、复习、视频、问题练习)进行聚类,得到一个通过轮廓系数选择的父划分($k=5$),包含4个对比极(以阅读为主、视频为主、复习为主和以问题为主)以及一个大的近均值残差($\sim$64.9\%)。对该残差进行再聚类增加了四种更细的风格,形成一个引导稳定的8种命名策略层次结构。我们通过响应计数分割每个学习者的时间线,使聚类仅使用前半部分,结果仅使用后半部分。早期聚类预测后期参与度(继续练习和完成后期会话,特别是坚持性,$\eta^{2}\approx 0.106$;完成度 $\eta^{2}\approx 0.021$),但不能预测后期无辅助准确性(无帮助的后期首次尝试正确率;$p_{\mathrm{adj}}\approx 0.093$)。某些风格下学习量增加,但仅基于学习量的聚类与策略标签几乎不匹配(ARI$=0.064$)。在七个TOEIC考试部分上应用的知识追踪模型(SAKT)预测下一次正确率仅略优于仅知道每部分通常难度的基线(AUC提升 $+0.051$;置信区间 $[+0.045,+0.058]$),且该掌握度信号与行为风格几乎独立(ARI$=0.007$)。此处的行为聚类描述学习风格和参与度,而非知识获取。
查看原文
查看缓存全文

缓存时间: 2026/08/19 10:18

# 1 引言  
来源:https://arxiv.org/html/2608.16963  
\\论文标题  

从 EdNet 日志中发现的学习策略聚类追踪参与度,而非掌握程度\\作者Qingchuan Lyu1\*, Yingxin Li2, Albert Yang1\\关键词学习分析,学习者画像,聚类,参与度,掌握程度,知识追踪,智能辅导系统\\提交日期18/08/2026\\录用状态–\\发表状态–\\备注 实践笔记\\已知事实:学习分析与智能辅导系统研究常将交互日志(如资源使用、修订、观看视频和尝试解题)聚类为命名的学习者类型或学习风格。随后常以内部验证指标(轮廓系数、戴维森堡丁指数)以及嵌入空间中清晰的视觉分离作为这些风格具有教育意义的证据,包括作为学习者知识掌握程度的代理指标,但未通过后续正确率或外部评估进行独立验证。\\本文贡献:我们在 EdNet-KT3 数据集中,从早期练习日志中恢复了一个稳定的学习策略聚类层级结构。为检验这些聚类是否能预测学习效果,我们按答题数量将每位学习者的时间线对半分割,使聚类特征仅使用前半段,结果仅使用后半段(防止后期行为信息泄漏到任一侧)。早期聚类能预测后期参与度——学习者在后半段是否持续练习并完成学习单元,尤其是在多个后期单元中保持活跃——但不能预测后期无辅助准确率(在无帮助情况下首次作答的正确率)。对练习量、答案顺序模式以及知识追踪模型的检查仍显示,仅基于行为的风格无法可靠地指示知识掌握程度。\\实践启示:基于日志的聚类应用于描述学习风格并针对性地提供参与度支持(如坚持性、完成度),而非作为知识增益的独立预测指标;如果目标是掌握程度,应优先使用关注正确率的模型和外部结果指标,而非仅基于行为的标签。

## 1 引言

智能辅导系统会记录日常学习行为,例如观看视频、阅读讲解、回答问题和修订答案。学习分析领域的一个常见期望是,对这些日志进行聚类将揭示能够*预测*学习结果的学习者类型,并驱动自适应支持(Baker & Yacef, 2009; Desmarais & Baker, 2012)。这种期望很少经过严格检验:许多研究流程在聚类看起来可解释且分离良好(轮廓系数、UMAP 图)时就停止了,将教育意义视为不言自明(Vendramin et al., 2010)。

研究问题:来自智能辅导系统日志的无监督学习策略画像,能否预测后期的*学习*,还是仅能预测后期的*参与度*(学习者是否继续练习)?我们在公开的 EdNet-KT3 语料库上解答此问题(Choi et al., 2020)。首先我们在每位学习者的完整日志中发现并命名其风格。然后,为验证预测主张,我们仅使用每位学习者问题尝试的前半段重建聚类,并对后半段的结果进行评分。这样,后期行为无法同时泄漏到聚类特征和结果评分中。

我们的贡献有三方面。(i)我们发现了一个稳定的学习风格层级结构:4 个鲜明对比的极端类型(专注阅读、重度观看视频、重度修订、优先尝试问题)以及位于大多数接近平均水平学习者内部的 4 种较温和的风格(在尝试问题前进行轻度单元内学习、偏向观看视频的多数型、先阅读文本再尝试、轻度修订者)。父聚类 k=5 和层级结构在自助重抽样下保持稳定(平均调整兰德指数≈0.984;平均调整兰德指数≈0.938)。(ii)当聚类仅基于早期练习数据拟合时,它们能预测后期参与度,特别是学习者是否在后期单元中保持活跃,但不能预测后期无辅助情况下首次作答的正确率。(iii)对练习量、答案顺序模式以及有监督知识追踪模型(SAKT)(Pandey & Karypis, 2019)的检查并未推翻这个关于掌握程度的零结果:SAKT 可以区分掌握程度,但作为一个几乎独立于行为风格标签的能力梯度。在实践中,基于日志的风格适用于描述学习者*如何*学习以及是否坚持练习,而非作为他们掌握*什么*知识的代理指标。

## 2 文献综述

本综述将论文定位于智能辅导系统、学习风格与学习策略个性化、自我调节学习、基于日志的行为画像以及参与度与学习结果之区分的交叉领域。先前工作常根据命名的学习风格进行个性化或预测下一题的正确性;较少研究探讨由学习策略特征得出的*无监督行为聚类*,在将早期聚类特征与后期结果分离的情况下,是否能预测后期掌握程度,或者预测参与度的同一聚类是否也能预测学业成就。这一空白正是我们的目标。

### 2.1 智能辅导与自适应教学

认知导师确立了基于模型追踪的智能辅导系统,在提供基于领域认知模型的即时、简洁反馈时,能够改善课堂成果(Anderson et al., 1995; Koedinger et al., 1997)。后来的综述框架了学生建模、元认知和内容创作方面的开放挑战(Conati, 2009; Murray, 2003),并将辅导原则扩展到寻求帮助和自我解释(Aleven & Koedinger, 2002; Roll et al., 2007; Azevedo, 2002)。自适应超媒体和个性化智能辅导系统强调以个人目标、偏好和先验知识作为适应的基础(Brusilovsky, 2000; Phobun & Vicheanpanya, 2010)。

系统性综述梳理了智能辅导系统中使用的 AI 技术(基于规则的方法、贝叶斯网络和数据挖掘),并强调对学习者成果进行评估(Mousavinasab et al., 2021; Lin et al., 2023; Hariyanto et al., 2025; Gligorea et al., 2023)。一项 2025 年对 28 项 K-12 研究(N=4,597)的系统性综述发现,智能辅导系统的效果通常是积极的,但与非智能辅导系统相比往往有所缓和,强调个性化和适应性是关键的设计杠杆(Létourneau et al., 2025)。实施研究进一步表明,自适应导师的成功与否,很大程度上取决于部署和教学适配性,而不仅仅是底层的学生模型(Phillips et al., 2020; Erümit & Çetin, 2020)。总之,这项工作强调学生*如何*与智能辅导系统互动、他们使用的策略和模式,可能与系统算法本身同等重要。

我们继承了智能辅导系统追求可操作学生模型的目标,但提出了一个更具体的问题:来自交互日志的*无监督*学习策略聚类,能否预测后期的掌握程度,还是主要预测后期的参与度。

### 2.2 学习风格与基于日志的画像

大量的自适应学习文献确定了学习风格以个性化教学(Essa et al., 2023; Bajaj & Sharma, 2018)。Felder-Silverman 分类法仍然具有影响力;方法范围从问卷调查到混合神经风格识别器(Bernard et al., 2017; Bernard et al., 2022),以及基于 Felder-Silverman 维度对网络使用痕迹进行聚类(Azzi et al., 2020)。对技术增强个性化学习的综述同样强调数据驱动的适应是核心趋势(Xie et al., 2019)。基于日志特征的无监督聚类也是教育数据挖掘和学习分析中发现学习策略和学习者类型的长期方法(Baker & Yacef, 2009; Desmarais & Baker, 2012)。典型的流程会聚合动作计数或任务时间,降低维度,并将聚类解释为用于适应的画像。

我们的方法相关但不同:我们聚类的是简单学习策略的总结——学习者观看视频、阅读、尝试、修订的频率,答题前学习以及错误后返回的频率——而不是将学习者映射到固定的问卷分类法上,并且我们通过后期参与度和后期掌握程度来评判聚类。轮廓系数等指标有助于确定保留多少聚类,但它们并不能证明教育意义(Vendramin et al., 2010);因此我们还要求标签在重抽样下保持稳定(von Luxburg, 2010; Hubert & Arabie, 1985),并且预测主张使用留出的后期结果。

### 2.3 智能辅导系统中的自我调节学习与元认知

自我调节学习为学习者如何在辅导系统中部署策略提供了理论支柱。Winne 和 Hadwin 的 COPES 模型描述了 SRL 跨越递归阶段:任务定义、目标设定与计划、学习策略以及适应,其中元认知监控是调节的入口(Winne & Hadwin, 1998)。在认知导师中提示自我解释,一种轻量级的元认知支架,比单纯的程序性练习产生了更大的学习增益和迁移能力(Aleven & Koedinger, 2002)。相关研究表明,学生经常部署无效的求助策略,而元认知辅导可以改善求助行为和学习效果(Roll et al., 2007; Azevedo, 2002)。

此外,一项 2025 年对 84 项 AI-SRL 研究的系统性映射发现,AI 最常用于自适应个性化、预测/画像、智能辅导系统和评估,其中元认知和认知方面的研究远多于动机方面(Banihashem et al., 2025)。这种不平衡对基于日志的画像很重要:行为痕迹容易捕捉策略和参与度信号,但从行动中恢复动机结构更为困难。我们将我们的学习策略聚类视为学习者在日志中调节练习行为的描述性编码,而非完整的 SRL 诊断。

### 2.4 参与度与成就

参与度(参与、坚持、任务时间)常被视为学习的代理指标,但两者可能分离:学习者可以高度活跃却没有相应的收益,反之亦然(Fredricks et al., 2004; Henrie et al., 2015)。最近的 AI 导师和生成式 AI 教育工作同样警告,交互效率、参与度或过程质量的提升不一定带来即时的学习收益(Kasneci et al., 2023; Francis et al., 2025; Kong et al., 2025)。因此,我们既对参与度(后期单元是否继续以及题目是否完成)也对掌握程度(在无辅助情况下后期首次作答的正确率)进行评分,这样追踪谁持续练习的聚类就不会被误认为追踪谁知道得更多的聚类。这种区分在实践中很重要:针对“重度修订”成员的干预可能发现谁在后期保持活跃,但无法诊断谁知道得更多。

### 2.5 知识追踪与结果预测

根据交互序列预测下一回答的正确性是教育数据挖掘的核心任务。经典的知识追踪模型使用隐马尔可夫更新对每个技能的二元潜在知识建模,并且仍然是基础的基线(Corbett & Anderson, 1995)。自注意力知识追踪以及后来的 Transformer 风格模型现在是大型公开语料库上的标准神经网络基线;相关综述涵盖了大规模自适应环境中的动态知识追踪(Sapountzi et al., 2019)和连续个性化知识追踪(Wang & Sahebi, 2023)。EdNet 提供了包含数百万交互的 TOEIC 辅导日志;每个题目带有一个取值范围为 1-7(听力与阅读考试部分)的 part 字段,以及更细粒度的专家标签。已发表的完整语料库知识追踪基准通常报告 AUC 接近 0.75–0.78。

我们使用 EdNet-KT3 不是为了追逐排行榜,而是作为一个现实的智能辅导系统日志,用于测试*行为*结构是否能预测后期的应用内掌握程度。我们的有监督探测使用 SAKT 在粗粒度的 part 标签上预测下一回答的正确性。由于某些考试部分可能比其他部分更难,一个强大的基线是*部分难度先验*:对于 p 部分的题目,仅使用该部分答对的频率来猜测正确性——对所有学习者使用相同的猜测,没有个人答题历史。我们通过 SAKT 相对于该基线的 AUC 提升来评判它,而非绝对的最新技术水平 AUC,并且关键的是,我们也对 SAKT 的密集学生嵌入进行聚类,作为与无监督行为聚类相对比的有监督正确性对比。

### 2.6 大语言模型时代的个性化

2020 年代中期智能辅导系统思想与大语言模型的融合创造了新的个性化机会与风险。综述和评论强调了其前景(对话式辅导、可扩展反馈)和局限性(不均衡的教学质量、公平性、评估完整性)(Kasneci et al., 2023; Abd-Alrazaq et al., 2023; Gabriel et al., 2024; Francis et al., 2025; Abedin et al., 2026; Garcia et al., 2026)。最近的自适应和预测性辅导系统继续结合掌握程度估计、参与度信号和个性化指导(Duque et al., 2026; Kong et al., 2025; Hariyanto et al., 2025)。一个反复出现的主题是,个性化可能更可靠地改善学习的*过程*(参与度、认知负荷、效率),而非即时*结果*,这呼应了上述参与度与成就的分离。与传统学习者模型的谨慎整合……

相似文章

从启发式到分析:在线学习中的努力与进度预测

arXiv cs.LG

本文针对智能导学系统引入了参与度预测,利用425名中学生的交互日志,预测每周练习分钟数和掌握的新技能数量。基于特征的模型相比启发式基线将误差降低了22-33%,为导学-学习者目标设定提供了可解释的模式。

单一掌握阈值无法适用于所有知识追踪模型

arXiv cs.LG

这篇 arXiv 论文研究了掌握阈值与不同知识追踪模型之间的相互作用,结果表明,同一个阈值在 BKT 模型和神经知识追踪模型中会产生截然不同的进阶判定结果,因此阈值应针对每个模型以及教学优先级分别重新校准。