psychometrics

MIT研究人员在一篇论文中表明，使用三元比较而非两两比较，可以显著提高预测人类偏好的随机效用模型的准确性。

本文介绍了一种基于偏见意识的评估框架，用于检测大语言模型中的反自闭症能力歧视语言，该框架使用基于注释者立场的心理测量加权真实值。研究发现，大语言模型经常将社区重新赋予的语言错误分类为能力歧视，并依赖表面关键词匹配而非上下文。

介绍了生成-评估一致性（GEA），这是一种用于LLM驱动自适应评估的效度标准，并在一个两阶段自适应测试中对其进行了测量，发现该模型恢复了大约一半的预期方差，且存在系统性偏差。

本文提出对Transformer编码器进行端到端微调，用于多项选择阅读理解项目的无响应项目难度建模，包括组件变体和多任务变体，表明多任务学习在小样本情况下有所改进。

本文实证检验了基于LLM的用户状态分类的心理测量学可靠性，发现213项指标中仅有31项满足可靠性标准，对实时自适应系统中的信任提出了质疑。

本文提出了一种心理测量框架及 AIQ 基准测试，用于评估生成式人工智能模型的认知特征，揭示了其演化过程的不均衡性：言语能力表现强劲，但知觉推理能力停滞不前。

研究人员分析了50个大语言模型在45份心理测量问卷上的表现，识别出一个“匹诺曹维度”（Pinocchio Dimension），该维度衡量模型如何认可内在体验，而非反映真实的人格特质。

一个包含524个项目的新型跨域基准（元认知监测电池）使用人类心理测量方法评估LLM在六个认知领域的自我监测能力。应用于20个前沿LLM后，揭示了三种不同的元认知配置，并表明准确率排名与元认知敏感性排名基本相反。