标签
埃默里大学的研究人员提出了 PsyWorld,这是一种以个体画像为条件的状态世界模型,利用观测到的环境—行为状态转移来学习融入转移信息的表征,以预测人类行为。在训练与测试参与者互不重叠的泛化设置下,该模型在 VEET 行为模拟器上达到了 0.904 的 Top-1 准确率。
本文介绍了图式连贯性量表(SCI),这是一种包含96个强迫选择题项的心理测量工具,用于衡量赋予经人格设定的语言模型的信念是否真正组织了其认知,而非仅仅诱发某种情绪。该工具已在107种条件和五种模型骨干架构上得到验证。
该论文提出了 SkillEval,这是一个将大语言模型发现的可解释技能与认知诊断模型相结合的框架,用于生成大语言模型在不同基准测试中的细粒度能力画像,改进基于平均分的评估方式,并支持大语言模型路由和自适应测试。
EviDial 引入了一个基准测试,在抑郁对话评估中将标签一致性与基于证据的评估分离开来。研究发现,82.8% 的参与者-症状单元缺乏充分的文本证据,而在看似正确的 LLM 预测中,69.2% 至 96.9% 实际上并没有对话内容作为支撑。
该论文对决策模型(decision models)和最新生成式 LLM 作为合成问卷受访者的能力进行了心理测量审计,在 14 个决策模型与 47 个生成式模型上测试后发现,模型在样本层面的模拟保真度尚可,但无法替代真实受访者的个体回答,且新一代模型未必优于旧版本。
该论文从心理测量学视角评估 LLM-as-a-Judge,使用 Many-Facet Rasch 模型将评分分解为潜在质量、评分者严苛度与残差难度,发现人类与 LLM 在汇总对齐之外仍存在明显的残差难度结构错配。
IQ Tester 是一款AI代理,通过30个自适应问题估算认知能力,基于心理测量学框架提供详细评估报告,涵盖多个推理领域。
本研究通过心理测量方法,探讨接近持平的大语言模型排名在基准测试项目组成变化下的鲁棒性。研究发现,尽管整体排名保持稳定,但个别接近的排序可能因项目选择而发生逆转。
BenchMIRT 介绍了一种方法,使用多维项目反应理论在单个提示词级别审计 LLM 基准测试,分离安全性和一般推理等底层能力,以揭示基准测试实际测量的内容。
Introduces an analytically exact framework for controlled behavioral evaluation of LLMs, using fully crossed factorial experiments and exact token-level probability mass functions to isolate causal biases that aggregate benchmarks obscure.
本文介绍了使用基于Qwen3.5的微调多模态大语言模型来模拟学生响应概率,并估计多项选择题的项目难度参数,从而近似3PL和MCM曲线。
本文介绍了NLP心理测量学,这是一个将文本心理预测视为心理测量问题的框架。通过使用LLM人格、情感画像以及句法-语义网络与随机森林回归器,该框架解释了心理健康评分中高达76%的方差,并展示了合成数据在心理测量预测中的前景与局限。
本文将项目反应理论应用于192个语言模型在八个安全基准上的评估,识别出三个潜在因素,通过自适应测试实现97-99%的成本削减,并支持故意表现不佳检测和模型审计。
本文介绍了 LLM-NRM,一种用于多选题基准的选项级心理测量框架,它对答案选择的完整分布进行建模,而不是二元正确性,表明错误回答携带了有用的测量信息,并提高了能力估计和基准测试的效率。
CogArena 引入了一个程序化生成的 13 范式基准,用于评估大语言模型是否展现出可分离的认知能力还是单一的通用能力,结果仅发现对 55 个模型稳定五维特征的支持较弱。
本文验证了大型语言模型依赖量表(LLM-D12-SP)的西班牙语版本,确认了其双因子结构和良好的心理测量学特性。
本文提出了一种基于微调的多智能体框架,用于从生活叙事中检测OCEAN人格特质。该框架使用经过条件化的大语言模型子智能体,分别采用高、低或中立视角,并通过一个法官大语言模型汇总输出,以减轻偏见并提高可解释性。
本文提出了一种评估框架,利用正则化回归和信度/设计上限,从文本嵌入预测项目参数。结果表明,难度在很大程度上可从文本预测,而区分度和伪猜测则受限于信度,而非文本信号。
本文介绍了一种心理测量工具,用于将语言模型的框架伪影与真实的道德判断区分开来。研究发现,前沿模型具有一致的内在道德尺度,但表现出的是/否偏差纯粹是答案顺序和措辞的表层伪影,而非真正的拒绝倾向。
本文对大型语言模型作为合成调查受访者进行了心理测量学审计,发现它们无法匹配人类的联合分布和信度,因此不适合作为人类受访者的替代品。