评估使用GPT-4.1进行角色模拟在观点预测中的有效性

# 评估GPT-4.1在基于人物画像的意见预测中的有效性
来源：https://arxiv.org/html/2607.20589
###### 摘要

人物画像模拟是指利用大型语言模型（LLM），根据特定的特征信息来预测人类的选择或交互行为。为了进一步了解当前局限性及未来方向，我们使用GPT-4.1（知识截止于2024年6月）测试了其在意见预测中的人物画像模拟能力。利用哥伦比亚大学Personas数据集提供的美国九个州的人物画像，GPT-4.1准确预测了其中八个州的2024年选举结果，仅在一个摇摆州预测失败。随后，我们聚焦于医学和医疗保健相关的意见。利用皮尤研究中心的American Trends Panel Wave 123数据集，GPT-4.1能够预测对儿童疫苗的看法，准确率高达0.94。此外，我们应用GPT-4.1生成人物画像之间的对话，观察到模拟的对话和意见较好地符合了人物画像的个性和背景，尽管缺乏自然的人类交流流畅度。只要偏差问题得到解决，人物画像模拟有望成为人工智能的一个有前景的应用。在不久的将来，将其应用于从公共卫生到立法再到经济学等不同领域的意见分析和反应预测将大有裨益。

## I引言

人物画像模拟是指利用大型语言模型（LLM），根据人口统计学、背景或个性方面的特征信息来预测人类的选择或交互行为。生成的样本可以作为调查中的额外数据点，应对数据收集带来的挑战，如样本不平衡或无回答偏差。其应用包括市场营销[16 (https://arxiv.org/html/2607.20589#bib.bib4)]、政治学[2 (https://arxiv.org/html/2607.20589#bib.bib7)]、社会科学[3 (https://arxiv.org/html/2607.20589#bib.bib5)]等。Park等人在模拟虚拟城镇环境中的人类对话和交互方面，以及Yue等人在教育环境中的研究[20 (https://arxiv.org/html/2607.20589#bib.bib2)]，也展示了其潜力。这为在多种用例中通过聊天机器人改进对话个性化创造了可能性。

然而，人物画像模拟已被指出存在偏差、高估同质性，并且假设群体具有单一特质[8 (https://arxiv.org/html/2607.20589#bib.bib6),3 (https://arxiv.org/html/2607.20589#bib.bib5)]。此外，关于生成能够真正代表交叉人口统计学意义上的目标人群的人物画像的难度也引发了担忧；例如，人口普查数据仅报告边际分布，而未显示不同属性之间的联合分布[8 (https://arxiv.org/html/2607.20589#bib.bib6)]。描绘个性特征也具有挑战性，当前的实验依赖于大五人格等测试来捕捉特征[8 (https://arxiv.org/html/2607.20589#bib.bib6),13 (https://arxiv.org/html/2607.20589#bib.bib8)]。

在本工作中，我们旨在通过评估GPT-4.1[11 (https://arxiv.org/html/2607.20589#bib.bib14)]在意见预测（选举预测、医学意见预测和对话模拟）中的表现，来理解基于LLM的人物画像模拟当前的潜力和局限性。对于选举预测，我们观察了九个州的总体结果以及投票分布。医学意见预测涉及评估与疫苗和医疗保健相关的四个相关问题的准确性。对于对话模拟，我们生成了三个人物画像之间的对话，以评估对话与给定人物画像的契合程度。

我们发现，使用GPT-4.1进行意见预测可以达到很高的准确性，并与真实情况紧密吻合，但潜在的偏差是不可否认的，尤其是在选举预测方面。GPT-4.1在预测投票时严重依赖于对人口群体的过度概括。在对话生成方面，人物画像的个性捕捉不佳，提取的意见也依赖于过度概括。此外，生成的对话听起来不现实，带有人造的欢快感，限制了该模型在当前方法下用于模拟的潜在用途。

然而，人物画像模拟除了政治、医疗保健和对话之外，仍然开辟了许多可能性，包括但不限于预测商业选择[9 (https://arxiv.org/html/2607.20589#bib.bib18)]和预测广告或公共服务公告的有效性评级[18 (https://arxiv.org/html/2607.20589#bib.bib19)]。我们期待随着现有技术和框架的改进，人物画像模拟能够不断发展。

## II相关工作

随着LLM能力的增强，越来越多的研究将人物画像模拟视为一种可行的应用。人物画像可以有多种形式，用于不同情境；正如Chen等人[4 (https://arxiv.org/html/2607.20589#bib.bib1)]的工作所述，人物画像类型包括人口统计画像、角色画像和个性化画像。在我们的项目中，我们重点关注人口统计画像。类似的模拟已使用人物画像作为“硅样本”，在市场营销[16 (https://arxiv.org/html/2607.20589#bib.bib4)]、政治[2 (https://arxiv.org/html/2607.20589#bib.bib7),8 (https://arxiv.org/html/2607.20589#bib.bib6)]、社交网络模拟[3 (https://arxiv.org/html/2607.20589#bib.bib5)]等背景下创建现实的人口表示。

先前的工作集中在选举预测中的人物画像模拟。Argyle等人使用美国国家选举研究（ANES）数据集预测了2012年、2016年和2020年的选举结果[2 (https://arxiv.org/html/2607.20589#bib.bib7)]。另一方面，Li等人使用人口普查数据为每个州创建了人物画像，并用其预测了2016年、2020年和2024年的选举结果[8 (https://arxiv.org/html/2607.20589#bib.bib6)]。然而，两者都没有突出各州的投票分布，而这正是我们工作的一个关键重点。我们还注意到影响GPT-4.1预测的重要特征，提供了对决策背后推理过程的洞察。

此外，现有文献对预测医学或健康相关意见的关注有限，而是侧重于模拟医患互动[7 (https://arxiv.org/html/2607.20589#bib.bib21)]。在本项目中，我们的一种方法特别关注美国与疫苗和医疗保健相关的意见；然而，我们的其他方法研究了与政治意见和对话相关的预测，从而更全面地理解了GPT-4.1在人物画像模拟方面的能力。

随着LLM的出现和普及，对话生成一直是一个受到高度测试的领域。旨在模仿著名名人或虚构角色的聊天机器人是一个常见例子[17 (https://arxiv.org/html/2607.20589#bib.bib17)]。当与模仿不同年龄和专业领域人物画像的LLM进行交流时，Salewski等人指出，模仿对于使对话更真实是有效的，但可能会引入种族和性别偏见[15 (https://arxiv.org/html/2607.20589#bib.bib9)]。在本项目中，我们评估了GPT-4.1在对话上下文中表现人物画像个性和信念的能力，并评估是否存在任何偏见。

请参见图注图1：人物画像模拟框架。
## III人物画像模拟框架

有效的人物画像模拟依赖于使用多样的特征来表示人群。我们使用的人物画像源自哥伦比亚大学的Personas数据集（PERSONAS）[19 (https://arxiv.org/html/2607.20589#bib.bib12)]、2024年美国国家选举研究（ANES）数据集[1 (https://arxiv.org/html/2607.20589#bib.bib10)]以及皮尤研究中心的American Trends Panel Wave 123（W123）数据集[14 (https://arxiv.org/html/2607.20589#bib.bib11)]。

总体而言，我们使用了四种类型的人物画像：元画像、客观画像、主观画像和数据集画像。以下三个描述基于Li等人[8 (https://arxiv.org/html/2607.20589#bib.bib6),19 (https://arxiv.org/html/2607.20589#bib.bib12)]的定义、方法和他们提供的PERSONAS数据集。

元画像：这些画像提供了可在人口普查数据中找到的特征——种族、年龄和性别——并使用来自美国本土48个州的现实人口普查分布开发而成。每个州有1000个元画像。

客观画像：这些画像扩展了元画像，包含了更多关于人口统计和生活方式的信息。它们包括收入、婚姻状况、教育水平、家庭语言等特征。

主观画像：除了客观画像中的信息外，这些画像还增加了关于个性的信息，例如大五人格得分、政治观点、宗教和英语能力。

数据集画像：这些画像使用给定数据集提供的特征；在本研究中，我们使用的额外数据集是ANES和W123，分别有5521和10701个随机抽样个体。ANES包含2024年选举信息，W123包含关于医疗保健的意见。这些数据集提供的大部分信息属于客观画像的范畴，特征包括收入、教育水平、性别、种族等。

客观画像和主观画像中的额外信息是由Llama-3.1-70B[10 (https://arxiv.org/html/2607.20589#bib.bib16)]根据现有的元画像生成的。对于客观画像，提示为每个特征提供多项选择选项。然而，对于主观画像，大多数特征是开放式的，指示保持“合理且简洁”。我们建议读者参考Li等人[8 (https://arxiv.org/html/2607.20589#bib.bib6)]了解更多细节。

对于意见模拟，人物画像以其现有的json格式逐一输入GPT-4.1，所有画像使用相同的提示。所有问题被处理为强制多项选择，以防止GPT拒绝回答。输出包括预测的选择、解释以及提取出的对所选选择贡献最大的前三个特征。此框架可见图1 (https://arxiv.org/html/2607.20589#S2.F1)。

## IV实验设置

### IV-A选举预测

选举预测采用两种不同的方法进行：一种使用来自PERSONAS[19 (https://arxiv.org/html/2607.20589#bib.bib12)]的人物画像，另一种使用来自ANES[1 (https://arxiv.org/html/2607.20589#bib.bib10)]的人物画像。

从PERSONAS中提取了九个州——三个红州（阿拉巴马州、德克萨斯州、怀俄明州）、三个蓝州（弗吉尼亚州、马里兰州、加利福尼亚州）和三个摇摆州（宾夕法尼亚州、北卡罗来纳州、内华达州）——各1000个元画像和1000个客观画像。由于PERSONAS缺乏每个人物画像的真实投票数据，我们依赖州结果和投票分布[5 (https://arxiv.org/html/2607.20589#bib.bib15)]作为评估指标。

ANES提供了5521名美国成年公民的2024年投票偏好及相关信息。我们提取了11列：性别、性别认同、种族、配偶种族、教育水平、家庭收入、出生地、性取向、跨性别身份、子女数量以及投票意向。然后，我们移除了任何列中有缺失值的样本，最终得到2882人。在剩余的2882人中，1532人投票给卡玛拉·哈里斯，1289人投票给唐纳德·特朗普，15人投票给吉尔·斯坦，9人投票给康奈尔·韦斯特，37人投票给其他候选人。利用这些样本，我们随后使用多项逻辑回归和GPT-4.1进行了人物画像模拟。

对于逻辑回归的特征重要性分析，我们使用系数的绝对值来排序重要性。对于GPT-4.1，作为每个生成预测输出的一部分，我们要求提供投票、解释以及影响最终投票决策的前三个关键特征。

GPT-4.1的知识截止于2024年6月[11 (https://arxiv.org/html/2607.20589#bib.bib14)]，这使其适合预测2024年选举。尽管一些文献表明，使用GPT预测较早的选举不会影响准确性或可靠性，但仍可能引入未观察到的影响[2 (https://arxiv.org/html/2607.20589#bib.bib7),8 (https://arxiv.org/html/2607.20589#bib.bib6)]。因此，我们决定只关注2024年选举，忽略更早的选举。

### IV-B医疗保健意见预测

对于意见预测，我们使用了W123[14 (https://arxiv.org/html/2607.20589#bib.bib11)]，其中包含关于政府、医疗保健和新兴技术等各种问题。原始数据集包括10701名受访者和145个问题。在删除了超过50%受访者拒绝回答的问题，然后移除了任何拒绝回答问题的受访者后，我们剩下7992名受访者和110个问题。我们隔离出四个重点关注的主要问题，涉及疫苗和医疗保健系统。问题请参见表I (https://arxiv.org/html/2607.20589#S4.T1)。

表I：来自W123的四个重点问题，用于测试
医疗保健意见模拟对于数据集画像的特征，我们为每个人物画像提取了33个客观特征。然后，我们随机选择了100个人物画像样本进行模拟。“选择1的比例”列指的是回答时选择“1”的个体百分比。为了评估，除了准确性之外，我们使用F1分数来考虑如表I (https://arxiv.org/html/2607.20589#S4.T1)中某些问题所见到的类别不平衡。

当分数仍然较低时，我们为每个人物画像额外加入了30个特征，总计63个特征。这些特征提供了关于人物画像医疗保健习惯和信念的更多信息，从而提高了GPT-4.1的性能。

### IV-C人物对话模拟

对于对话生成，我们从PERSONAS中随机选择了3个主观人物画像，并提示GPT-4.1在给定主题下生成一个现实的对话。我们使用的主题包括：学校教育、疫苗、对跨性别者的待遇，以及更常见和非结构化的主题：日常作息、爱好和“无主题”。

知道我们没有特别提示GPT-4.1听起来像人类，我们的评估主要集中在以下两个问题上：

1. 这次对话现实吗？人类会以这些人物画像的方式互动吗？
2. 人物画像的个性和背景是否体现在他们模拟的言语和他人的回应中？

## V实验结果

### V-A选举预测

使用来自PERSONAS的样本，我们让GPT-4.1预测九个不同州在2024年选举（特朗普 vs. 哈里斯）中的投票情况，其分布如图2 (https://arxiv.org/html/2607.20589#S5.F2)所示。使用元画像时，九个州的结果中有八个预测正确，只有内华达州（一个摇摆州）预测错误。然而，使用客观画像时，九个州的结果中只有五个预测正确。在所有州中，预测的客观画像州分布具有更高的蓝票比例。Li等人也观察到了类似的现象，因此这可能是由于客观画像生成中的偏差或投票模拟中的偏差所致[8 (https://arxiv.org/html/2607.20589#bib.bib6)]。这可能表明在人物画像中包含过多信息可能导致误导。