当LLM从未接触过五年级以上材料时会怎样？

# 教学可控知识曝光下的语言模型 来源：https://littlelearner-ll.github.io/ ## 与LittleLearner对话 在线5B模型，可在浏览器中直接交互。若下方聊天界面未加载，请在新标签页中打开↗（https://zueri-monstro.rufous-hamlet.ts.net/ll-demo-chat/?theme=light）。 ## 用于研究模型知识获取机制的受控沙盒 现代语言模型同时训练海量数据，因此难以判断新能力是真正被*习得*，还是仅被*激发*。我们通过限制训练分布本身来解决这一问题：构建了880亿token的美国小学课程语料库，模型在该数据集上从头训练，并设置未过滤对照组进行对比。 ## 数据集 ### LittleCurriculum 通过五阶段过滤流程从FineWeb-Edu中提炼的880亿token语料库，过滤标准与美国共同核心课程标准（K-5年级）对齐。明确排除5年级以上教授的概念、事实与词汇。 ## 模型 ### LittleLearner 三个规模（0.6B / 1.3B / 5B）在LittleCurriculum上从头训练的模型：具备可解释知识边界的对话模型。每个模型均配备匹配的*未过滤*对照组以进行公平比较。 ## 发现 ### 是激发而非习得 在我们的实验中，模型扩容、SFT+GRPO后训练及上下文学习能增强课程范围内的知识表现，但均未显著提升课程外的能力，这表明预训练数据过滤实际上设定了模型的能力天花板。 ## 模型检查点 LittleLearner的三个规模（0.6B / 1.3B / 5B），每个规模都包含架构、token数和训练配方完全相同的未过滤对照模型。 **基础版**：预训练模型。**GRPO**：经MathCAMPS数学专项后训练的模型；其输出可能呈现数学导向倾向。**对话版**：为通用对话行为优化的变体。 | 规模 | LittleLearner·K-5课程模型（对话版） | 匹配对照组·未过滤模型 | |------|-----------------------------------|---------------------| ## 能力受限于课程范围 标准干预手段能否使模型超越其预训练数据所涵盖的知识边界？在边界受控的实验条件下，我们得以严谨地探究这个问题。实验表明：所有干预措施都增强了课程内能力，但均未能显著提升课程外表现。 ### 模型扩容 扩大模型规模可提升受控知识曝光范围内的表现，并轻微迁移到相同学习轨迹的问题上，但对需要更高级能力的课程外问题改善有限。 各年级数学CAMPS准确率随模型规模变化 ### 后训练 通过GRPO进行后训练能显著提升K-5范围内的能力，但即使使用课程外数据训练，也无法恢复超出K-5范围的能力。 后训练增强了K-5能力，但未弥补超K-5能力缺口 ### 上下文学习 我们测试的提示词并未使训练后的5B LittleLearner模型获得超K-5范围的新推理能力。 不同提示策略下的准确率对比 ## 您打算教它什么？ 由于LittleLearner的训练数据曝光范围明确界定，其行为与表征变化可直接关联您引入的新概念。以下是我们关注的三个方向： 1. **强化学习与知识发现** ### RL能否创造新能力？ 模型的知识基础被限制在K-5范围内，因此在强化学习过程中出现的能力可归因于RL机制本身。这为研究奖励驱动的发现提供了可操作的范例。 2. **持续学习** ### 观察概念习得过程 引入负数概念，测量样本效率、知识保留度与干扰效应。或探测边界附近的行为：模型会作答、拒绝回答还是产生幻觉？ 3. **教育科学** ### 机器学习者与儿童学习者对比 可控的知识曝光条件实现了人机学习过程的对比研究。模型和儿童是否需要相似的知识接触才能学会分数？或在解决应用题时是否犯类似错误？ --- **轮到您了** ### 提出您自己的研究问题 已知的知识边界能让您的想法转化为严谨的科学实验！ ## 若您认为本研究有价值 请引用我们的论文： ``` @misc{littlelearner2026, title={LittleLearner: Language Models Under Pedagogically-Controlled Knowledge Exposure}, author={Fanfei Li and Jana Zeller and Manuel Prada-Corral and Thaddäus Wiedemer and Prasanna Mayilvahanan and Ryan Cotterell and Wieland Brendel}, year={2026}, eprint={2608.13545}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2608.13545} } ```