论文页面 - 可能但不成立：决策模型作为合成问卷受访者的心理测量学审计

来源：https://huggingface.co/papers/2610.14912

摘要

语言模型正被越来越多地用于创建合成问卷样本，也称为“硅样本“。决策模型是一类新型语言模型，它为量表的每个评分点返回一个概率值，而非文本。我们探究这类模型（以及最新的生成式 LLM）能否在心理测量问卷中替代人类受访者。我们在一项公开的立陶宛组织心理学调查（n=263，80 个题目）上测试了来自 11 家提供商的 14 个决策模型和 47 个生成式 LLM，使用了 100 份真实受访者档案、心理测量相似度得分（Psychometric Similarity Score，PSS）以及统计基线。表现最好的生成式模型 MiniMax M3 达到 PSS 0.813。这一水平与仅基于其他受访者拟合的高斯 copula（0.824）相当，且低于样本内 copula 拟合的 0.927。第二个由 100 名真实受访者组成的样本得分低于最佳模型，因此在这一规模下，PSS 无法将模型与真实受访者区分开来。在 10 条产品线中的 5 条里，最新生成式版本的得分低于同一产品线的早期版本，且超出重采样噪声范围，没有任何一条产品线的新版本超越旧版本。在默认的四舍五入读数方式下，14 个决策模型中有 13 个得分低于生成式参照模型 gpt-5.4-mini。在 47 个生成式模型中，有 33 个对题目间相关性模式的复现优于任何决策模型。在受访者上取平均后，概率向量比四舍五入后的作答更接近人类的题目边际分布。它们对受访者的排序能力也与基于 163 名真实受访者拟合的档案回归大致相当。然而，若将概率向量视为对每个人自身作答的预测，每一个决策模型都劣于其他受访者的作答频率，主要原因是其平均向量与真实情况存在偏差。而档案回归仅比这些频率提升 1.0%，说明档案字段几乎无法反映一个人的作答方式。因此，基于此类档案构建的合成受访者应以样本层面的保真度为目标。

查看 arXiv 页面（https://arxiv.org/abs/2610.14912）｜查看 PDF（https://arxiv.org/pdf/2610.14912）｜加入收藏（https://huggingface.co/login?next=%2Fpapers%2F2610.14912）

在 Agent 中获取此论文：

hf papers read 2610.14912

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.14912 即可从本页面链接过去。

引用此论文的数据集 0

暂无数据集关联此论文。

在数据集 README.md 中引用 arxiv.org/abs/2610.14912 即可从本页面链接过去。

引用此论文的 Spaces 0

暂无 Space 关联此论文。

在 Space README.md 中引用 arxiv.org/abs/2610.14912 即可从本页面链接过去。

收录此论文的合集 0

暂无合集收录此论文。

将此论文添加到合集（https://hf.co/new-collection）即可从本页面链接过去。