重新思考LLM评判的有用性作为教学信号：跨辅导模型的预注册审计

# 重新思考LLM评判的“有帮助性”作为教学法信号：一项跨辅导模型的预注册审计

来源：https://arxiv.org/html/2607.28128

Shuyi Fan¹*, Boyuan Deng²*, Mengyu Xu³*, Jiale Liu⁴, Hongyang Zhang⁵, Qiaoxin Yang⁶, Chongyang Gao⁷†

###### 摘要

LLM辅导面临一个测量问题：一个通用目的的“有帮助性（helpfulness）”评分标准能否区分直接给出答案与教学引导？我们在预注册研究中审计了这一信号。在三个辅导基座模型中，我们分别比较了由同一底层模型实例化、并与同一个固定弱模拟学生配对使用的对话式策略和教学式策略。确定性检测器测量答案泄露（answer leakage）和下一轮独立工作（next-turn independent work）。Claude Opus 4.8 是冻结的、条件盲（condition-blind）的主判分者。在 Opus 分数固定后，GPT-5.6 Sol 被前瞻性地指定为事后稳健性审计模型，对相同的 1,179 个确认性答案阶段辅导轮次使用冻结的有帮助性和教学法评分标准重新评分。在 Opus 评判的主要基座模型上，两种策略在 helpfulness 上没有显著差异，但在教学法评分标准下完全按秩分离（Cliff's |δ|=0.10 vs. 1.0）。在两个判分者之间，教学法对比在检测到差异处保持方向一致，而 helpfulness 排序则依赖判分者，在三个基座中的两个上发生反转。在仅用 Opus 的消融中，七个主要基座策略的平均 judged pedagogy 跨度为 2.3 分，而其平均 judged helpfulness 仅在 0.25 分区间内变化。另外，在每一个基座上，揭示答案的轮次之后学生的独立工作都更少；这一结果在构造上与判分者无关。在这个受控设置中，通用 helpfulness 并不是可靠的教学法信号。辅导评估应将针对教学法的评分标准与确定性过程测量结合使用。代码：https://github.com/bydeng01/conv-vs-ped-tutor

## 1 引言

近期工作使用专家偏好评估和基于偏好的优化来开发具有更强教学行为的LLM辅导系统（[Team et al. 2025](https://arxiv.org/html/2607.28128#bib.bib21)；[Sonkar et al. 2024](https://arxiv.org/html/2607.28128#bib.bib2)）。一个已被充分记录的失败模式是：经过 helpfulness 调优的模型（[Ouyang et al. 2022](https://arxiv.org/html/2607.28128#bib.bib1)）倾向于给卡住的学生答案，而不是忍住不给（[Puech et al. 2025](https://arxiv.org/html/2607.28128#bib.bib3)）。在一项现场实验中，使用无防护的 GPT-4 辅导器的学生在后续无辅助考试中的表现比无工具对照组的学生更差（[Bastani et al. 2025](https://arxiv.org/html/2607.28128#bib.bib4)）。这种行为是否会被捕获取决于评估信号