标签
论文评估了LLM作为计算机科学考试评分器的表现,发现提示设计对评分准确性有显著影响,并表明LoRA微调能够缓解问题,使其性能匹配人类评分者。
本文介绍了THPT-Ladder,这是一个使用越南2025凸面评分方案评估AI模型的基准测试,揭示了部分分数差距如何导致与标准准确度指标相比的不准确评估。
本文介绍了使用基于Qwen3.5的微调多模态大语言模型来模拟学生响应概率,并估计多项选择题的项目难度参数,从而近似3PL和MCM曲线。
本文提出了一种基于GPT-5模型变体的生成式AI辅助摘要框架,以解决自动作文评分中输入长度限制的问题,并在ASAP 2.0数据集上展示了模型能力、摘要保真度和计算成本之间的权衡。
介绍了Epi2Diff,一个将LLM推理轨迹映射为认知片段以预测人类题目难度的框架,其性能优于基线方法,并提供可解释的过程证据。
介绍了一个包含32,534份双重评分的GCSE学生答案的数据集,涵盖五个科目,发现表现最佳的LLM与考官的一致性程度高于考官之间的一致性,包括手写和主观任务。
本文评估了42个大语言模型在测量阅读理解评估中题目区分度的能力,发现其与人类校准指标弱相关,并指出这是心理测量评估中的一个开放挑战。