一种基于提示工程的方法：在通用AI教学助手中实现可扩展、灵活且实时的混合微层级个性化

# 面向通用AI教学助理的可扩展、灵活且实时混合式微观个性化提示工程方法
来源：https://arxiv.org/html/2609.03402
###### 摘要

基于大型语言模型的人工智能教学助理可提供可扩展的教育支持，但通常个性化程度有限。本研究提出一种基于提示工程的框架，用于实现跨学科、跨课程的通用型LLM/RAG AI教学助理（如Jill Watson）的个性化。该框架通过六个学习者特定维度调整响应：自我评估、抽象偏好、冗长偏好、感知取向、信息处理风格和理解水平，从而生成96种独特的学习者画像。学生提问还会通过布鲁姆认知分类法进行分析，以评估交互层面的认知复杂度。学习者属性与认知评估被编码在结构化提示中，用于调节LLM而无需模型重训练。该框架通过NLP指标实验和五名参与者的人类研究进行评估。结果表明，不同个性化条件下响应风格与结构存在可感知的差异，统计分析确认了与响应可测量变化相关的学习者属性。这些发现初步证明基于提示的个性化能够支持LLM驱动教育智能体的适应性行为。

佐治亚理工学院，美国亚特兰大 30332
[email protected], [email protected], [email protected]
代码、调查链接与数据集—https://github.gatech.edu/sbasu7/IAAI27_JW_Personalization

## 引言

为学习者提供定制化教育体验的愿景已有数十年历史。布鲁姆的"两个标准差"研究证明，一对一辅导的学习效果比传统课堂教学高出约两个标准差，从而确立了个性化作为可量化教育目标的地位（Bloom 1984）。后续研究致力于通过自适应智能学习系统开发可扩展方案，以模拟个性化教学的效益（Shute and Zapata-Rivera 2012；Aleven et al. 2017；Bernacki et al. 2021）。

大型语言模型的出现显著扩展了个性化学习的可能性。基于LLM的教学助理能够大规模生成流畅且符合语境的响应，当与检索增强生成技术结合时，可跨学科提供课程相关的教学支持（Taneja et al. 2024；Kakar et al. 2024；Maiti and Goel 2024）。然而，其灵活性引发了重要问题：哪些学习者特征应驱动个性化？个性化应如何实施？这些调整是否会产生有意义不同的教学交互？

本文通过针对Jill Watson虚拟教学助理的提示工程个性化框架解决这些问题（Goel and Polepeddi 2018；Taneja et al. 2024；Kakar et al. 2024）。该框架在单个学生问题层面运作，结合学习者偏好与问题级认知需求。具体而言，响应通过六个学习者维度实现个性化：元认知自我评估、抽象偏好、冗长偏好、感知取向、信息处理风格和理解水平。认知需求通过布鲁姆分类法评估，学习者偏好基于费尔德-西尔弗曼学习模型（Bloom et al. 1956；Felder and Silverman 1988）。两者的组合产生96种独特的学习者画像。

该框架完全通过针对现有RAG型LLM导师的结构化提示工程实现，无需模型重训练或领域特定编写即可实现实时个性化。我们通过基于NLP的分析对30个学生问题的97种提示配置生成的2910个响应进行评估，并辅以五名参与者的人类评估。结果初步表明基于提示的个性化能在响应特征上产生可测量、可感知的差异，支持其在LLM驱动教育智能体中的适应性行为潜力。

## 文献综述

Bernacki等人（2021）提出了一个宽泛的个性化框架，从四个视角描述自适应学习：*由谁、针对什么、如何以及为何目的*。Plass与Pawar（2020）进一步区分了系统驱动的适应性与学习者驱动的适应性，以及宏观与微观层面的适应。本研究聚焦于微观认知适应，结合使用布鲁姆分类法的系统驱动分类与学习者驱动偏好选择。

早期自适应学习系统通常遵循"诊断-处方"循环，涉及学习者建模、动作选择与模型更新（Shute and Zapata-Rivera 2012）。学习者模型通常表征先验知识与技能掌握程度，适应主要通过内容选择或排序实现（Xie et al. 2019）。相比之下，本工作将个性化转向响应形式适应：答案基于共享检索知识库，但其抽象度、结构、冗长度与认知框架通过提示条件化进行修改。

近期基于LLM的辅导系统通过对话交互与检索增强生成扩展了个性化，包括Jill Watson的扩展版本（Taneja et al. 2024；Kakar et al. 2024；Maiti and Goel 2024）。LPITutor（Liu et al. 2025）、PATS（Li and others 2025b）、GPTutor（Chen et al. 2024）和AgentTutor（Li and others 2025a）等系统可调整难度、个性、教学内容或教学流程。其他方法将LLM与认知诊断模型集成以改进学习者建模（Dong et al. 2025；Liu and others 2025；Wei and others 2025；Zhang and others 2025）。包含Park等人（2024）和CloChat（Ha et al. 2024）在内的角色与偏好感知系统展示了将学习者偏好纳入提示的价值。

与上述方法相比，为实现单个交互层面的动态响应适应，所提框架将六个学习者维度与基于布鲁姆分类法的问题级认知分析相结合。它允许学习者主动指定响应特征，同时自动调整认知深度。因此，基于LLM/RAG的AI教学助理（JillWatson）主要不是通过适应内容或学习路径，而是通过提示工程个性化呈现共享教学内容的方式。这种学习者驱动适应性与系统驱动认知评估的混合整合代表了LLM教育个性化中一个尚未充分探索的方向。

## 个性化框架设计

所提个性化框架包含三个组件：学习者特征、学习者偏好以及调节底层大型语言模型的提示工程机制。遵循Park等人的画像条件化方法，学习者特征通过自评元认知知识与使用布鲁姆分类法确定的单个问题认知复杂度表征（Bloom et al. 1956）。这支持基于学习者理解水平和查询复杂度的问题级个性化。

学习者偏好源自费尔德-西尔弗曼学习模型（Felder and Silverman 1988），被视为用户选择的偏好而非固定心理测量分类。包含五个维度：抽象度、冗长度、感知方式、处理方式和理解方式。这些维度分别控制生成响应的粒度、长度、沟通取向、参与风格和组织结构。相应类别汇总于表1。

学习者特征与偏好的组合产生96种独特的学习者画像。此外，每个学生问题都会根据布鲁姆分类法自动分类，支持单个交互层面的动态适应。学习者偏好由学生明确选择，而认知需求由系统推断。这创建了一个结合学习者驱动适应性与系统驱动适应性的混合框架。

所有学习者属性都编码在工程化提示中以调节响应生成。该提示与Jill Watson的检索增强生成流程及课程特定知识库集成，使个性化在保持基于检索教学内容的同时调整响应的形式与呈现。示例如下：

> 我对该主题的知识水平为**初级**。我的问题属于布鲁姆分类法中的**综合**类别。请提供**技术性**且**简洁**的响应，采用**感知型**沟通风格。我以**反思型**方式处理信息，倾向于以**全局**方式理解概念。请根据本提示中列出的理解水平和偏好个性化响应。问题如下：我应采取什么方法最佳解决"羊群与狼群"问题？

模块化设计允许通过Jill Watson界面更新学习者偏好，并在运行时融入提示，无需修改或重训练底层LLM即可实现可扩展的个性化（Kakar et al. 2024）。

## 研究问题

本研究目标是确定所提个性化框架是否产生独特且可感知的响应特征。为此，我们研究以下研究问题：

1. RQ1：学习者画像与LLM生成响应的语言特征差异有何关联？
2. RQ2：哪些学习者维度与响应特征变化关联最强？
3. RQ3：观察到的响应特征是否与相应学习者维度的预期效果一致？

RQ1检验不同学习者画像是否系统产生不同响应。RQ2评估各学习者维度对响应特征（包括语义相似性、复杂度、冗长度、抽象度与处理风格）的相对贡献。RQ3评估观察差异是否符合各维度的预期效果；例如，更高冗长度是否产生更长响应，更高抽象度是否产生更技术复杂的解释。

为解决这些问题，我们结合自动化NLP分析与人类评估。使用描述性与推断统计方法（包括混合效应模型）量化学习者画像与维度间的差异与关联。

## 实验设计与NLP评估

进行自动化NLP分析以确定个性化维度是否在LLM生成响应中产生可测量差异。

从佐治亚理工学院2023年春季CS 7637知识型AI课程中选取30个真实学生问题，覆盖所有布鲁姆分类法类别。遵循Maiti和Goel（2025）的方法，使用在组合标注数据集上训练的微调BERT分类器对问题进行分类（Gani and Sangodiah 2023；Yahya 2011）。该分类器使用bert-base-uncased，测试准确率达0.92，各类别F1分数在0.88至0.94之间。

六个学习者维度及其层级产生96种独特学习者画像。对每个问题生成97种提示：96种个性化配置和一种非个性化基线，共得到2910个响应。提示模板与模型配置保持恒定，仅变更学习者画像属性。使用温度参数设为0的GPT-4.1生成响应以最小化随机变异。

使用四个NLP维度评估响应：词汇相似度、语义相似度、语言复杂度与冗长度。语义相似度通过all-MiniLM-L6-v2的384维嵌入（Wang and others 2020；Sentence-Transformers Community on Hugging Face 2024）测量并计算两两余弦相似度。词汇重叠通过ROUGE测量，语言复杂度通过textstat的年级水平评分测量，冗长度通过lexicon_count测量。

使用描述性分析与普通最小二乘回归检验学习者维度与响应特征的关联。结合后续人类评估，这些分析解决三个研究问题。

## 人类评估研究设计

涉及五名评估者的人类评估研究通过评估难以自动捕捉的响应特征（包括感知抽象度、理解深度与信息处理风格）来补充自动化NLP分析。评估者通过前期调查从佐治亚理工学院KBAI课程的现有和往届学生中招募。调查收集了评估者对主题的理解程度、自评专业水平和学习偏好信息。

从每个布鲁姆分类法类别中选取一个代表性问题。评估检查三个个性化维度：自我评估、抽象度与处理风格，涵盖13名学生。