人类认知与行为的小型基础模型

Hugging Face Daily Papers 论文
cognitive-modeling foundation-models behavioural-data scaling-laws psychology llm-evaluation

摘要

本文在Psych-101数据集上训练了14个小语言模型（参数规模从1.35亿到140亿），该数据集包含来自160个实验的1070万次逐试次人类选择。研究发现，小型模型足以匹配分布内数据，而大型模型在分布外泛化方面表现更好。诊断结果表明，遮蔽刺激和反馈会破坏大部分已学信息，表明仅凭选择历史是不够的。

在人类行为数据上微调的大语言模型已成为通用认知代理，但其所需的规模，以及这些模型是处理任务结构还是利用统计捷径，仍是悬而未决的问题。我们在Psych-101数据集上训练了来自四个架构家族的十四个模型，参数规模从1.35亿到140亿不等。Psych-101包含来自160个实验的1070万次逐试次选择。在分布内，规模几乎无关紧要。模型表现集中在一个狭窄区间内，仿佛碰到了天花板，0.6B到1B参数就足以匹配70B基线在保留参与者上的表现。在分布外，这一区间呈现出明显更陡峭的扩展梯度，更大的模型在新任务结构的泛化上具有明显优势。为了确定这些模型使用了哪些信息，我们进行了两项诊断。我们在27个实验中逐步剥离四个提示通道——任务指令、实验刺激、结果反馈和选择历史——并打乱试次顺序。遮蔽刺激和反馈的内容破坏了75.7%的已学信息，并将模型性能推至随机水平以下，这表明仅凭选择历史无法解释其表现。置换实验揭示了在独立试次任务中的不变性，但在试次顺序由先前响应决定的任务中表现出敏感性。因此，小型认知微调模型作为心理实验的噪声上限估计器显示出前景，但其适用范围仍受限于训练中见过的范式。
查看原文
查看缓存全文

缓存时间: 2026/08/10 14:15

论文页面 - 人类认知与行为的小型基础模型

来源：https://huggingface.co/papers/2608.05224

摘要

大规模语言模型在人类行为数据上进行微调后，已成为通用的认知代理，但所需规模，以及这些模型是处理任务结构还是利用统计捷径，仍是悬而未决的问题。我们在 Psych-101 上训练了十四个模型，参数规模从 135M 到 14B，涵盖四个架构家族。Psych-101 是一个包含来自 160 项实验的 1070 万次试验级选择的数据集。在分布内，规模几乎无关紧要。模型表现落在一个狭窄区间内，仿佛触及天花板；0.6B 到 1B 参数就足以在留出参与者上匹配 70B 基线。在分布外，该区间展开为明显更陡峭的缩放梯度，更大的模型在泛化到新颖任务结构时显然更具优势。为了确定这些模型使用了哪些信息，我们运行了两项诊断。我们在 27 个实验中逐步剥离四个提示通道——任务指令、实验刺激、结果反馈和选择历史——并打乱试验顺序。遮蔽刺激和反馈的内容会破坏 75.7% 已学习的信息，并将模型推向低于随机水平，这表明仅凭选择历史无法解释模型表现。打乱顺序揭示了在独立试验任务上的不变性，但在试验顺序由先前反应决定的任务上则表现出敏感性。因此，小型认知微调模型作为心理实验的噪声上限估计器展现出潜力，尽管其范围仍受限于训练中见过的范式。

查看 arXiv 页面 (https://arxiv.org/abs/2608.05224)
查看 PDF (https://arxiv.org/pdf/2608.05224)
GitHub3 (https://github.com/socius-org/Centauri)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.05224)

相似文章

人类认知与行为的小型基础模型

arXiv cs.AI

本文研究在人类行为数据上微调的小型基础模型是否可以作为认知代理，发现规模在分布内影响甚微，但较大模型在分布外具有更好的泛化能力。