用于衡量和预测人类行为的基础模型

Hugging Face Daily Papers 论文

摘要

论文提出 Chiron,一个基于大语言模型微调的行为基础模型,用于测量和预测人类行为,通过对齐人口统计分布在个体行为预测与社会科学实验模拟上显著优于前沿 LLM。

大型语言模型(LLM)正日益被用于推断心理属性、预测个体行为以及模拟人群。然而,尽管它们能够生成看似合理的回答,却往往无法准确表征个体,并扭曲总体统计数据。在此,我们介绍 Chiron,一种用于测量和预测人类行为的基础模型。我们对一个 LLM 进行联合微调,使其能够表征心理构念、预测个体行为,并使人群回答的分布与人类统计数据保持一致。训练和评估数据涵盖 36 个行为领域和 78 项社会科学实验,包括 288,307 条个体记录、1,411,750 次原子级行为决策,以及涉及 109 个心理构念的 99,953 次心理测量评估。在我们的评估中,Chiron 的心理测量结果与人类自我报告更为一致,且表现出更少会损害心理测量效度的偏差。它预测个体行为的准确性高于前沿 LLM(相对提升最高达 28.4%)。在社会科学实验模拟中,它能更准确地捕捉人类实验效应的方向和幅度(效应量估计误差降低 82.2%--94.3%)。这些结果共同确立了 Chiron 作为一种用于测量和预测人类行为的统一计算工具的地位。
查看原文
查看缓存全文

缓存时间: 2026/11/19 07:28

论文页面 - 用于测量和预测人类行为的基础模型

来源:https://huggingface.co/papers/2611.24830

摘要

一个基于大型语言模型微调的基础模型能够测量和预测人类行为,并使模拟人群的响应与人类统计数据保持一致,其准确性优于前沿 LLM。

大型语言模型 (LLMs) (https://huggingface.co/papers?q=Large%20language%20models%20(LLMs)) 越来越多地被用于推断心理属性、预测个体行为以及模拟人群。然而,尽管它们能够生成看似合理的响应,却经常错误地表征个体并扭曲人群统计数据。在此,我们推出 Chiron,这是一个用于测量和预测人类行为的基础模型 (https://huggingface.co/papers?q=foundation%20model)。我们通过联合微调,使一个 LLM 能够表征心理构念、预测个体行为,并使人群响应分布与人类统计数据保持一致。训练和评估数据涵盖 36 个行为领域和 78 项社会科学实验,包括 288,307 条个体记录、1,411,750 次原子级行为决策,以及涉及 109 个心理构念的 99,953 次心理测量评估。在我们的评估中,Chiron 的心理测量结果与人类自我报告更为一致,并且表现出更少的损害心理测量效度的偏差。它对个体行为的预测比前沿 LLM (https://huggingface.co/papers?q=frontier%20LLMs) 更准确 (相对提升最高达 28.4%)。在社会科学实验的模拟中,它能更准确地捕捉人类实验效应的方向和大小 (效应量估计误差降低了 82.2--94.3%)。这些结果共同确立了 Chiron 作为测量和预测人类行为的统一计算工具的地位。

查看 arXiv 页面 (https://arxiv.org/abs/2611.24830)查看 PDF (https://arxiv.org/pdf/2611.24830)GitHub0 (https://github.com/ValueByte-AI/chiron)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2611.24830)

在你的智能体中获取这篇论文:

hf papers read 2611\.24830

还没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有链接到这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2611.24830,即可从本页面链接到该模型。

引用这篇论文的数据集0

没有链接到这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2611.24830,即可从本页面链接到该数据集。

引用这篇论文的 Space0

没有链接到这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2611.24830,即可从本页面链接到该 Space。

收录这篇论文的合集0

没有收录这篇论文的合集

将这篇论文添加到合集 (https://huggingface.co/new-collection),即可从本页面链接到该合集。

相似文章

人类认知与行为的小型基础模型

arXiv cs.AI

本文研究在人类行为数据上微调的小型基础模型是否可以作为认知代理,发现规模在分布内影响甚微,但较大模型在分布外具有更好的泛化能力。

人类认知与行为的小型基础模型

Hugging Face Daily Papers

本文在Psych-101数据集上训练了14个小语言模型(参数规模从1.35亿到140亿),该数据集包含来自160个实验的1070万次逐试次人类选择。研究发现,小型模型足以匹配分布内数据,而大型模型在分布外泛化方面表现更好。诊断结果表明,遮蔽刺激和反馈会破坏大部分已学信息,表明仅凭选择历史是不够的。

社会世界模型的评估差距

arXiv cs.CL

该论文审计了 1999 至 2026 年间的 113 项研究,发现只有 9 项主要评测真正测量了真实人类对系统所选行动的响应,其中仅 2 项还将显式的响应预测与实测响应进行比较;在 25 项语言模型相关工作的全文检查中没有发现符合这些条件的实验。作者提出了一套直接预测评测标准,并设计了一个用于谈判助手的单步实验来区分任务成功、当前状态推断与真实响应预测。

BehaviorBench:面向行为科学任务的基础模型基准测试

arXiv cs.CL

本文介绍了BehaviorBench,一个用于评估基础模型在行为科学任务(包括行为预测、战略决策、主体特征推断和行为知识应用)上表现的综合基准。它还介绍了Be.FM-1.5,一个经过微调的模型,实现了出色的分布对齐,突显了通用模型与行为适应模型之间的差距。