面向教育评估中可扩展自动作文评分的成本高效生成式AI摘要方法

# 面向可扩展自动作文评分的成本高效生成式AI摘要技术  
来源：https://arxiv.org/html/2607.15829  

###### 摘要  

自动作文评分（AES）已成为教育评估中的重要工具，能够实现对学生写作的可扩展评估和及时的形成性反馈。然而，许多基于Transformer的嵌入模型（如BERT、RoBERTa、DeBERTa）受限于严格的输入长度限制，使得处理长篇幅作文时不得不进行截断，可能导致教育相关信息丢失。本研究提出了一种生成式AI辅助摘要框架，以解决该限制并保持评分可靠性。我们基于ASAP 2.0数据集，使用三种GPT-5模型变体（GPT-5、GPT-5 mini、GPT-5 nano）生成学生作文的受控长度摘要，并将其作为下游评分模型的输入。为保留重要语言信号，我们整合了原始作文的手工特征，形成混合写作表示。该框架从下游评分性能、摘要质量和模型成本三个维度进行评估。评分性能采用二次加权卡帕（QWK）衡量，摘要质量则通过词汇重叠、语义相似度、信息保留和冗余度进行评估。结果表明：GPT-5 mini与人工评分者的一致性最高，而GPT-5的摘要质量最强。高分段作文的摘要性能下降，表明越复杂的写作越难在不丢失信息的情况下压缩。这些发现揭示了模型容量、摘要保真度、计算成本和构念保留之间的权衡。本研究应被视为基于GPT的摘要方法用于AES的初始受控评估，而非针对所有长上下文和直接评分方法的完整基准测试。总体而言，该研究表明生成式AI摘要能够支持教育环境中可靠且可扩展的写作能力评估，同时为更强的泛化结论提供了必要的基线和消融实验参考。  

## 1 引言  

自动作文评分（AES）是指利用计算技术评估书面回答，以近似或支持人类判断。这一概念可追溯到早期的计算评估研究，当时先驱系统证明了利用文本统计属性而非直接人工评估来给作文打分的可行性（?, ?）。这些早期工作为理解可测量的语言模式如何近似写作质量的各个方面奠定了基础。  

AES的动机源于教育中的一个基本挑战：写作评估劳动密集、耗时，且难以在大量学生群体中保持一致扩展。人工评分需要经过培训的评分员、标准化的评分量表和严格的质量控制程序，这些都限制了评分的速度和可扩展性。随着教育体系的扩展和数字学习环境的普及，对高效可靠评估工具的需求大幅增加。AES系统旨在通过提供快速评分、一致的评价标准和可扩展的反馈机制来满足这一需求，同时支持课堂教学和大规模标准化测试（?, ?, ?, ?）。通过减少评分延迟并提高评分者间一致性，AES技术有助于更及时的教育反馈和评估过程中更高效的资源配置。  

在教育领域，AES已广泛应用于形成性评估、分班测试和高风险考试中，这些场景需要在严格时间限制下评估大量书面回答。除了效率提升，自动评分还能减少评分延迟、标准化评估实践，并通过为学习者提供即时诊断反馈来支持个性化学习环境。这种快速反馈循环在以写作为核心的课程中尤为宝贵，因为迭代修改在技能发展中起着核心作用。然而，写作质量本质上是多维度的，涉及语法、词汇、连贯性、组织结构、论证能力、修辞效果和读者意识。要计算化地捕捉这些多样维度是一项复杂挑战，既需要语言敏感性，也需要与写作能力的教育构念保持一致。因此，AES研究已发展为一个跨学科领域，涵盖教育测量、计算语言学、人工智能和认知心理学。  

该领域的一个核心问题是确保自动分数与预期的写作能力构念一致，同时在不同学生群体中保持公平性、有效性、可靠性和可解释性（?, ?, ?, ?, ?）。这种对构念效度的强调将教育评估应用与纯技术文本分类任务区分开来。  

早期的AES系统严重依赖手工特征和统计建模方法。像e-rater这样的运行系统提取与语法使用、词汇多样性、句法复杂度、篇章组织和风格模式相关的可测量指标，并利用这些特征训练回归或分类模型来预测整体写作分数（?, ?, ?）。这些基于特征的系统证明，在受控条件下，计算模型能够近似人类评分性能，尤其是在有大量标注数据集可用时。然而，它们的性能往往受限于有限的语义理解能力，以及对无法完全捕捉论证和语篇连贯性细微差别的手工规则的过度依赖（?, ?, ?）。随着机器学习技术的进步，集成模型和更丰富的数据驱动特征表示提高了预测鲁棒性和跨提示的泛化能力。尽管如此，与构念效度、领域迁移性和可解释性相关的挑战依然存在，凸显了纯表层语言特征的局限性（?, ?, ?, ?）。  

近年来深度学习和神经语言模型的进展彻底改变了自动评分方法论。神经架构使得系统能够直接从原始作文中学习高维文本表示，减少了对人工特征工程的依赖，并能更好地建模语义内容和篇章结构。循环神经网络和卷积神经网络是早期证明能通过捕捉序列和层级语言模式来提升AES性能的神经方法（?, ?, ?, ?）。这些模型表明，文本的分布式表示能更好地捕捉句子之间、段落结构和主题发展之间的关系。Transformer架构的发展通过更有效地表示长距离上下文依赖和文本输入的并行处理，进一步加速了文本建模的进步（?, ?）。预训练语言模型如BERT证明了从大规模语料库中学到的上下文嵌入能够显著提升广泛NLP任务的性能，包括写作评估和语义相似度估计（?, ?）。这些进展将AES研究转向强调语义理解而非手工指标的表征学习方法。  

大语言模型（LLMs）的出现将这些能力从表征学习扩展到了生成和评估功能。基于大规模语料库训练的基础模型展现出强大的零样本和少样本学习能力，能够以越来越接近人类语言处理的方式评估、总结和生成文本（?, ?）。像GPT-4这样的现代生成式AI系统展现了先进的推理、总结和评估能力，使其在需要细致文本理解的教育应用中特别有前景（?, ?, ?）。与需要任务特定模型训练和大量标注数据集的早期AES流程不同，基于LLM的系统可以执行与评分量表对齐的评分、提供解释性反馈，并在极少的额外监督下协助教师审阅学生作业。这种转变减少了对领域特定特征工程的依赖，并使得评估标准能更灵活地集成到自动化系统中。  

因此，生成式AI为可扩展的写作评估引入了超越传统评分流程的新可能性。LLMs可以集成到AES框架中，执行诸如长作文的自适应摘要、论证质量的语义评估、自动反馈生成以及基于评分量表的评分决策解释等任务。这些能力在高等教育环境中尤其有价值，因为快速的形成性反馈可以提升学习成果、鼓励修改实践并减少教师工作量（?, ?）。与此同时，生成式AI的整合也引发了重要的方法论和伦理考量。从心理测量学的角度来看，AES系统在用于教育决策之前必须继续满足可靠性、有效性、公平性和透明性的标准（?, ?, ?）。此外，随着生成工具对学生广泛可用，区分真实写作与AI辅助写作变得越来越具有挑战性。AI辅助写作工具的可用性可能模糊学生能力与机器支持之间的界限，引发关于学术诚信和公平评估的新担忧（?, ?, ?）。  

近期的研究已开始探索直接将LLMs用于自动评分任务，显示出与人工评分者之间具有前景的一致性水平，同时也凸显了关于偏见、可解释性、计算成本和环境影响等问题（?, ?, ?）。2025-2026年的最新研究进一步表明，该领域正在多个方向上同时推进：基于提示和零样本的LLM评分、基于成对偏好的比较评分、整体与分析评分量表下的偏见分析、基于图的多特征评分、可解释的评分与反馈系统，以及基于心理测量学的评分与反馈框架（?, ?, ?, ?, ?, ?, ?）。这些发展强调了系统研究模型设计选择如何影响评分性能、资源效率和教育适用性的必要性。特别是，理解模型规模、计算成本和评分准确性之间的权衡，对于寻求实际部署策略的机构至关重要。  

在这一不断发展的领域中，本研究探讨了如何将基于GPT的生成模型通过自适应摘要和语义嵌入技术集成到自动作文评分框架中。具体来说，我们比较了模型变体，以评估评分准确性、摘要质量和计算效率之间的权衡，旨在为可扩展、资源高效的自动评估系统提供实用的模型选择策略。因此，本研究的贡献有意地比直接的LLM即评分者研究更为狭窄。我们不探究LLM能否直接给出最终作文分数，而是考察生成式摘要能否作为中间压缩机制，使长作文能够用于固定长度的嵌入和分类器流程，同时保留原始文本中的可解释手工特征。这一框架将所提出的系统与三种相邻方法区分开来：简单截断（丢弃长作文的尾部）、长上下文编码器如Longformer（直接扩展输入窗口但仍需任务特定微调和计算资源），以及直接零样本LLM评分（减少训练需求但引入提示敏感性和分数校准挑战）。本研究贡献了关于摘要预处理路径、不同GPT摘要器对下游评分结果的影响以及分数段信息保留差异的实证分析。  

## 2 背景  

自动作文评分的前期研究已逐步从基于规则和基于特征的方法转向数据驱动和神经方法论。早期的运行AES系统证明，在受控条件下，计算评分能达到与人工评分者相当的一致性水平。例如，Project Essay Grade（PEG）表明，词频和作文长度等表层统计指标能够以中等成功率预测写作质量，与人工评分者的相关性可与评分者间信度相媲美（?, ?, ?）。后续系统如e-rater，通过将语法、用法、机制和篇章级特征纳入回归模型，扩展了这一范式，使自动分数在标准化测试环境中达到人机一致性水平高于r=0.70（?, ?, ?）。这些结果证实，结构化的语言指标能够近似整体评分标准，同时支持大规模评估操作。  

心理语言学特征提取工具的发展进一步提升了AES性能。Coh-Metrix引入了与词汇多样性、连贯性、句法复杂度和可读性相关的理论驱动指标，使得对写作构念的建模更加深入（?, ?）。将Coh-Metrix特征应用于大规模语言评估的研究报告称，与仅使用表层特征的模型相比，评分准确性有显著提升，尤其是在评估语篇连贯性和文本组织方面（?, ?）。例如，整合连贯性和句法指标的自动评分系统表现出与专家评分者更好的一致性，并在各年级水平上提供了更好的构念表征。这些发现强调了将计算特征与写作能力的认知和语言理论对齐的重要性（?, ?, ?）。  

机器学习方法通过实现复杂语言模式的非线性建模，增强了AES的预测鲁棒性。随机森林和梯度提升等集成技术改善了跨提示的泛化能力，并降低了对特征噪音的敏感性（?, ?）。实证评估表明，集成模型优于单一模型基线，且性能与运行AES平台相竞争（?, ?）。然而，这些方法仍然严重依赖手工特征，需要大量任务特定工程，限制了跨领域和写作语境的适应性。  

神经网络方法标志着方法论上的重大转变，使得从原始文本中自动学习表示成为可能。循环神经网络和卷积神经网络展示了在不进行显式特征设计的情况下捕捉语义关系和篇章流的能力得到了提升（?, ?, ?）。早期的神经AES系统在人工评分者一致性上优于传统的基于特征模型，性能提升在较长和更复杂的作文中尤为明显。注意力机制通过识别影响评分决策的显著文本区域，进一步增强了可解释性。