反思性对话还是提示优化？导师支架对学生在编程中独立使用大语言模型的影响

# 反思性对话还是提示词优化？导师支架对学生独立使用大语言模型进行编程的影响††thanks: 感谢我们的同事（M.B, A.B, L.C, E.C, M.D, A.S, G.D, V.D, F.E）的支持，以及慷慨志愿参与本研究的同学们。
来源：https://arxiv.org/html/2607.03303
11institutetext:瑞士洛桑联邦理工学院（EPFL）MOBOTS & LEARN 实验室
11email:jerome\.brender@epfl\.ch, kim\.uittenhove@epfl\.ch, francesco\.mondada@epfl\.ch22institutetext:瑞士沃州师范大学（Haute École Pédagogique）
22email:engin\.bumbacher@hepl\.ch, laila\.elhamamsy@hepl\.ch33institutetext:瑞士洛桑联邦理工学院（EPFL）数字教育中心 & LEARN 实验室
33email:aitor\.perez@epfl\.ch, patrick\.jermann@epfl\.chLaila El\-HamamsyKim UittenhoveAitor PerezPatrick JermannFrancesco MondadaEngin Bumbacher

###### 摘要

尽管大语言模型（LLM）可以在学习中提供个性化支持，但多项研究对其在教育中的使用提出了担忧。重要的是，学习效果取决于学生如何与LLM互动。本研究考察了两种基于LLM的导师如何塑造学生的提示词实践、学习效果以及后续LLM使用：一种是苏格拉底式引导（SG）导师，通过对话式提问来组织互动；另一种是提示词优化（PR）导师，引导学生制定有效的提示词。我们在一门研究生级别的移动机器人课程中进行了一项两阶段研究：66名学生在为期6周的干预中使用SG或PR导师，随后52名学生在为期3周的项目中使用无限制的LLM。结果表明，虽然SG和PR导师在引导使用期间带来了相似的任务表现和提示词模式，但在学习效果和后续LLM使用方面存在差异。与PR学生相比，SG学生在后期会话中获得了更高的学习收益，并且在无限制LLM使用中更倾向于采用理解驱动的提示策略——这种策略预示着更高的理解水平。尽管学习者认为SG导师效率较低，但研究结果表明，苏格拉底式引导有助于发展学生随时间与LLM共同学习的能力，这凸显了其在LLM导师设计中的重要性。

## 1 引言

随着大语言模型（LLM）的兴起，越来越多的研究考察了基于LLM的工具在教育中的应用，包括课程开发、自动评估与反馈，以及在学习活动中提供个性化支持的工具[kasneci_chatgpt_2023,shahzad_comprehensive_2025]。与此同时，研究人员指出，教育益处并非这些基于LLM的系统所固有，而是取决于其教学设计与整合方式，并警告当这些条件不满足时存在重大风险[kasneci_chatgpt_2023]。

### 1.1 LLM在学习中的认知与元认知风险

学生使用基于LLM的系统的一个核心风险，是将任务表现提升与学习相混淆。虽然研究发现，使用此类系统解决问题的学生往往取得更高业绩，但这些提升既不能表明学生无需工具也能做到¹，也不代表学习效果改善²。

¹ 研究发现，当无法访问LLM时，学生表现显著下降，甚至“比从未访问过的学生表现更差”[bastani2024generative]。
² 研究发现，LLM使用期间的表现与后续学习之间相关性弱或无相关性[brender2024s, fan2025beware]。

这种表现与学习之间的脱节，可以部分通过认知与元认知研究得到解释。多项研究担忧，学生使用LLM可能会助长元认知懒惰[sabqat_shortcut_2025, delikoura_superficial_2025, fan2025beware]。随着LLM能力增强，学生可能越来越依赖这些系统，从而减少其主动认知和元认知参与[zhai2024effects]。最近一项关于写作任务的脑电图（EEG）研究为此类效应提供了证据[Kosmyna2025your]：LLM支持的参与者获得了更高的任务表现，但作者报告了一种“认知债务”，表现为对LLM输出的批判性评价减少以及长期语义保持受损。

重要的是，这些风险并非基于LLM的系统所固有，而是取决于学习情境中如何构建与它们的互动。先前研究表明，学生采用多种LLM使用模式，这些模式与不同的表现和学习结果相关[brender2024s]。例如，当学生通过概念性提问[brender2024s]或使用强调理解而非解决方案生成的提示词（例如关注代码推理的提示词[brender2025structured]）来与LLM互动时，学习获益更可能发生。

### 1.2 提高LLM的学习有效性

因此，如果目标是在教学环境之外支持富有成效的LLM使用，那么核心设计挑战是如何帮助学生培养持久的、富有成效的LLM互动方式，使其在指导结束后依然能够持续。先前研究大致尝试了两种方法。

#### 1.2.1 用于反思性LLM使用的苏格拉底式支架

支持学生使用人工智能系统进行学习的一种方法是，将帮助限制在解释[okonkwo2020python]、提示[yang2024enhancing]或课程对齐的指导[okonkwo2020python, liu2024teaching]上，而不是提供直接答案，从而鼓励学生主动构建解决方案。这一设计原则的一个突出形式是苏格拉底式提问[chen_exploring_2025]，它依赖以问题驱动的对话来促进反思性认知过程[paul2007critical]。

当在基于LLM的导师中实施时，苏格拉底式支架已被证明可以支持更深层次的推理和理解[favero2024enhancing, shetye2024evaluation, goyal2025sakshm]，尽管效果并非在所有学生中一致，这凸显了需要将该方法与其他教学策略结合[kampylis2026timeless]。相关研究进一步强调了设计选择的重要性：一项研究发现，使用无防护的生成式AI界面可以提高短期表现，但一旦移除访问权限，可能会导致后续表现更差，而这种效应在采取教学保障措施时会得到缓解[bastani2024generative]。

这些发现强调了需要考察系统端支架策略（如苏格拉底式提问）是否也能帮助学生在结构化指导之外发展富有成效的LLM使用。

#### 1.2.2 教授提示词以促进富有成效的LLM使用

与指导LLM如何回应学生的苏格拉底式支架不同，第二种方法旨在塑造学生如何与LLM互动。这条工作线集中于教授学生如何制定提示词并与LLM互动，以支持教学环境之外的富有成效的使用[molnick_assigning_2023]。

一条工作线探索了构建聊天机器人界面以引导提示词制定[brender2025structured]。虽然这种方法被发现可以即时改善提示行为，但这些效果在移除约束后并未持续。此外，学生抵制限制性界面，尽管他们认识到潜在益处，并可能主动绕过约束以获得完整回应[brender2025structured, kapoor2025exploring]。

第二条工作线侧重于通过指导方针或教学来传授提示策略。LLM输出质量强烈依赖于用户的输入[anthropic2026aeiv4]，然而有效的提示词制定仍然具有挑战性，尤其是对于领域知识有限的学习者[zamfirescu2023johnny]。为此，已经提出了许多提示词指导方针[denny2023promptly, mollick2022new, stokel2023chatgpt]；然而，许多缺乏实证验证，并且很少考察所学策略能否迁移到无限制的LLM使用中[yang2023use, brender2025structured]。

研究需要考察这些学习者端的策略是否能在不培养过度依赖或肤浅采纳的情况下支持富有成效的LLM使用。

### 1.3 当前工作

这些工作线提出了互补的问题：富有成效的LLM使用是否更好地通过构建系统如何回应学生来支持，还是通过教学生如何自己与LLM互动来支持？本研究通过直接比较两种对比性设计方法来解决这个问题：方法（1）提示词优化（PR）导师，支持学生制定有助于学习的提示词；方法（2）苏格拉底式引导（SG）导师，作为一种最先进的系统，通过构建系统回应来支持学生反思。基于上述文献综述，我们探讨以下研究问题：

- （RQ1）SG和PR导师如何在引导式实验课中塑造学生的提示行为、任务表现和学习？
- （RQ2）提示实践与任务表现和学习之间存在何种关系？
- （RQ3）学生在干预后如何与无限制的LLM互动？

我们在一个研究生级别的移动机器人课程中采用混合方法研究来探讨这些研究问题。在为期六周的干预阶段，学生在所有实践实验课中被随机分配到SG或PR导师条件。随后是为期三周的项目阶段，在此阶段所有学生自由与无限制的LLM互动。

## 2 系统设计与AI导师变体

本研究采用了一个基于网页的聊天机器人，集成了OpenAI的API（GPT-5），为学生提供实时帮助。该系统建立在检索增强生成（RAG）架构之上，使用了所有课程材料，包括讲座幻灯片、论坛问答存档、练习和解答。系统不是一步生成回应，而是通过一个多步骤的、智能体式工作流程来处理每个学生提示，从而能够控制检索、回应生成以及教学约束的时机。利用这一架构，我们实现了两种AI导师变体，它们在互动结构上有所不同。

#### 2.0.1 提示词优化（PR）导师

该导师旨在支持学生制定高质量的提示词，要求在对提示词进行优化后才提供帮助[lo2023clear]。对于每个传入提示，系统评估提示词的两个维度，这些维度基于先前研究确定[ekin2023prompt, brender2025structured]：（1）*清晰度和具体性*，即提示词是否提供了足够的上下文、约束和预期输出；（2）*学习意图与推理*，即提示词是否表达了学生的理解或提出了一个聚焦的概念性问题，而不是请求解决方案。如果提示词在任一维度上不足，PR导师会中断互动，并提供基于简短量规的反馈以及两个替代性提示建议。学生可以选择其中一个或修改他们的原始提示。只有当修改后的提示词满足最低标准时，系统才会生成回应。

#### 2.0.2 苏格拉底式引导（SG）导师

该导师旨在通过塑造系统如何回应学生查询来支架学习。它不是提供直接解决方案，而是生成开放式的、反思性的问题，促使学生澄清理解并将推理推向解决方案[kestin2025ai, vanzo2025gpt, favero2024enhancing]。这种提问立场在整个互动中持续，符合教育型AI使用的既定指南[OpenAI_teaching_2024]。

## 3 方法论

### 3.1 研究背景与设计

本研究（见图1）在瑞士洛桑联邦理工学院（EPFL）的一门研究生级别移动机器人课程中进行³，采用混合方法、受试者间设计。

³ 研究已获得EPFL伦理委员会批准（HREC000658/15.07.2025）。

参考图题：图1：研究设计概览
### 3.2 研究流程

如图1所示，学生首先完成一份感知调查（见3.4节），然后被随机分配到两种AI导师条件之一。干预包括三个实验课（S1–S3），期间学生使用指定的导师完成编程任务。

每节实验课遵循相同结构：内容相关的课前测试、75分钟动手编程阶段（期间学生可使用聊天机器人获取帮助）、以及内容相关的课后测试。在编程阶段收集提示日志和提交的代码。

在三个实验课之后，学生以四人小组形式进行为期三周的课程项目。在此项目阶段，学生可以自行选择与无限制版本的课程聊天机器人互动，该版本使用相同的RAG系统架构，但没有2节中描述的导师支架。课程结束时，学生完成一项后调查，评估他们对LLM的感知和使用情况。

### 3.3 参与者

参与者从课程队列中招募。本研究重点关注第三节实验课和课程项目。在172名注册学生中，66人参与了第三节实验课（男性=47，女性=15，未透露=4）。随后，52名学生自愿在课程项目中使用无限制的课程聊天机器人（无支架的RAG）（男性=33，女性=15，未透露=4）。参与是自愿的，基于知情同意，并给予经济补偿。

### 3.4 数据收集与编码

#### 3.4.1 前后调查（感知）

包括多份量表。本文重点分析编程经验、对LLM的感知[teo2009modelling]以及自我报告的LLM使用情况。⁴

⁴ 完整调查可在此获取（https://doi.org/10.5281/zenodo.19260026）。

#### 3.4.2 实验课课前测试（学习）

评估两个部分：（i）算法解释（3分）以及（ii）针对实验课关键理论概念的算法程序排序（3分）。开放式回答被匿名化，由两名教学助理（TA）评分。整个数据集上的评分者间信度（IRR）达到较高水平（Fleiss' κ S1=0.79, κ S2=0.70, κ S3=0.77）。我们验证了两个条件的学生在先前知识上相似（S1: U=327.5, p=.18, M=44.7±18.0%；S2: U=369, p=.54, M=61.5±21.3%；S3: U=380, p=0.06, M=54.5±24.5%），对于S3观察到一个边际趋势（分数较低），这将在结果部分进一步讨论。

#### 3.4.3 实验课课后测试（学习）

包括针对与课前测试相同概念的多项选择题（S1：5题；S2：8题；S3：5题）。此外，学生完成了一个与课前测试类似的程序排序任务。每个多项选择题计1分，排序任务额外加权25%。分数相加并标准化，计算每节课的课后测试总分（M S1=44.4±18.6%，M S2=45.5±32.2%）。