标签
本文研究在人类行为数据上微调的小型基础模型是否可以作为认知代理，发现规模在分布内影响甚微，但较大模型在分布外具有更好的泛化能力。
本文在Psych-101数据集上训练了14个小语言模型（参数规模从1.35亿到140亿），该数据集包含来自160个实验的1070万次逐试次人类选择。研究发现，小型模型足以匹配分布内数据，而大型模型在分布外泛化方面表现更好。诊断结果表明，遮蔽刺激和反馈会破坏大部分已学信息，表明仅凭选择历史是不够的。