survey-simulation

本文在两个大规模数据集上对LLM模拟的人类调查响应进行了基准测试，发现没有模型在个体层面上能超越简单的基线，并且模型系统性地过度决定人口统计特征，扭曲了群体差异。这些失败在不同模型规模和系列中持续存在，引发了对使用合成用户进行决策支持的担忧。

Anamnesis 是一个开源平台，利用大型语言模型进行大规模背景故事条件调查模拟，可实现人口统计可控的虚拟调查。在复制真实世界调查分布方面，它优于标准的角色提示方法。

提出将跨调查迁移作为基于LLM的人类调查模拟的严格评估框架，发现零样本LLM在未见项目上达到52%的准确率。

本文介绍了一个三轴保真度框架（结构、边际、个体），用于评估LLM如何从小样本试点数据模拟调查回答。通过一项COVID-19错误信息调查，比较了提示、纠正和微调方法，发现微调提供了平衡的保真度，但不同子样本之间存在差异。