使用生成式AI创建和评估用户画像:81篇文章的范围综述
摘要
本范围综述分析了81篇(2022-2025年)关于使用生成式AI创建和评估用户画像的文章,指出了其在可重复性方面的优势,但同时也揭示了关键问题:45%的研究缺乏评估,86%过度依赖GPT模型,以及存在同一模型既生成又评估画像的循环风险。
arXiv:2504.04927v2 Announce Type: replace-cross
摘要:随着生成式AI(GenAI)在用户画像开发中越来越多地被用于代表真实用户,理解该技术的影响和局限性对于建立稳健的实践至关重要。本范围综述分析了81篇文章(2022-2025年)如何使用GenAI技术创建、评估和应用用户画像。这些文章表现出良好的可重复性,61%的文章分享了资源(画像、代码或数据集)。此外,对话式用户画像界面与传统画像一起被越来越多地提供。然而,近一半(45%)的文章缺乏评估,大多数(86%)仅使用GPT模型。在一些文章中,GenAI的使用带来了循环风险,即同一个GenAI模型既生成又评估输出。我们的发现还表明,GenAI似乎减少了人类开发者在用户画像创建过程中的作用。为减轻相关风险,我们提出了将GenAI负责任地整合到用户画像开发中的可行指导方针。
查看缓存全文
缓存时间: 2026/04/20 08:32
# 使用生成式AI创建与评估用户画像:对81篇文章的范围性综述 来源:https://arxiv.org/html/2504.04927 \(2026\) ###### 摘要。随着生成式AI(GenAI)在用户画像开发中越来越多地被用于代表真实用户,理解该技术的含义和局限性对于建立稳健的实践至关重要。本范围性综述分析了81篇文章(2022-2025)如何使用GenAI技术来创建、评估和应用用户画像。这些文章表现出良好的可复现性,其中61%的文章分享了资源(画像、代码或数据集)。此外,对话式用户画像界面正越来越普遍地与传统档案一同提供。然而,近一半(45%)的文章缺乏评估,且大多数(86%)仅使用GPT模型。在某些文章中,使用GenAI造成了循环论证的风险,即同一个GenAI模型既生成又评估输出。我们的发现还表明,GenAI似乎减少了人类开发者在此过程中的角色。为减轻相关风险,我们提出了将GenAI负责任地整合到用户画像开发中的可操作指南。生成式AI,大语言模型,用户画像,用户画像开发 ††journalyear:2026††copyright:cc††conference:Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems; April 13–17, 2026; Barcelona, Spain††booktitle:Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems \(CHI ’26\), April 13–17, 2026, Barcelona, Spain††doi:10\.1145/3772318\.3790608††isbn:979\-8\-4007\-2278\-3/2026/04††ccs:Human\-centered computing HCI theory, concepts and models††ccs:Human\-centered computing User models## 1\.引言 用户画像(简称“画像”)是代表系统、产品或服务的典型真实用户的虚构角色,以拟人化形式呈现(Cooper,1999 (https://arxiv.org/html/2504.04927#bib.bib34))。自引入人机交互(HCI)领域以来,用户画像已被用于支持以用户为中心的设计(UCD),应用于软件开发(Blomquist and Arvola,2002 (https://arxiv.org/html/2504.04927#bib.bib20); Aoyama,2005 (https://arxiv.org/html/2504.04927#bib.bib13); Adlinet al\.,2001 (https://arxiv.org/html/2504.04927#bib.bib9))、设计(Leeet al\.,2010 (https://arxiv.org/html/2504.04927#bib.bib97); Duda,2018 (https://arxiv.org/html/2504.04927#bib.bib53); Chenet al\.,2011 (https://arxiv.org/html/2504.04927#bib.bib23))和医疗保健(Hendrikset al\.,2013 (https://arxiv.org/html/2504.04927#bib.bib68); Högberget al\.,2008 (https://arxiv.org/html/2504.04927#bib.bib69); Gonzalez de Herediaet al\.,2018 (https://arxiv.org/html/2504.04927#bib.bib59))等领域。用户画像通过提供核心用户群体的移情且易记的表示,帮助系统设计师在整个设计过程中聚焦用户需求(Pruitt and Adlin,2010 (https://arxiv.org/html/2504.04927#bib.bib132))。因此,用户画像是HCI研究、用户体验(UX)研究以及系统与技术的UCD中的一个关键组成部分。 用户画像开发方法最初基于定性数据收集和手动分析,这通常耗时、耗资源且容易过时(Salminenet al\.,2021 (https://arxiv.org/html/2504.04927#bib.bib135))。然而,生成式人工智能(GenAI),特别是大语言模型(LLMs),为自动化用户画像开发创造了机会(Huanget al\.,2024 (https://arxiv.org/html/2504.04927#bib.bib70); Shinet al\.,2024 (https://arxiv.org/html/2504.04927#bib.bib150); Junget al\.,2025 (https://arxiv.org/html/2504.04927#bib.bib83))。自动用户画像开发是指能够在没有(或极少)人工干预的情况下生成用户画像,并可以克服手动用户画像开发的挑战。这就是为什么正在研究使用GenAI来支持用户画像开发的原因。这些GenAI技术可以应用于用户画像开发的不同阶段,通过此类过程创建的用户画像被称为GenAI画像,这将是本研究的重点(示例见图1 (https://arxiv.org/html/2504.04927#S1.F1))。 尽管多篇文章已将GenAI应用于用户画像开发(Salminenet al\.,2024a (https://arxiv.org/html/2504.04927#bib.bib139); Shinet al\.,2024 (https://arxiv.org/html/2504.04927#bib.bib150); Schulleret al\.,2024 (https://arxiv.org/html/2504.04927#bib.bib147); Junget al\.,2025 (https://arxiv.org/html/2504.04927#bib.bib83)),但关于GenAI技术如何在用户画像开发实践中应用的系统性综合研究仍然有限。这种知识的缺乏给HCI社区带来了关于使用GenAI创建用户画像的严峻问题。 参见标题(a) 参见标题(b) 图1\. GenAI画像示例。画像(a)由Survey2Persona生成(Junget al\.,2025 (https://arxiv.org/html/2504.04927#bib.bib83)),画像(b)由Persona\-L生成(Sunet al\.,2025 (https://arxiv.org/html/2504.04927#bib.bib156))。这些系统说明LLMs越来越多地被用于生成画像档案,同时也为决策者提供与画像对话的途径。图中标注解释了GenAI画像的不同组成部分。建议读者放大查看以提高可读性。两个AI生成的画像示例。面板A显示了一个年轻女性的画像档案,由Survey2Persona系统生成,以结构化格式展示了人口统计信息、个性特征和行为特征,并包含百分比和数据可视化。面板B显示了一个Persona\-L生成的界面,包含一位职业女性的档案及聊天功能,展示了LLMs如何同时支持画像档案和为决策者提供对话访问。 此外,GenAI在用户画像开发中的应用缺乏标准化和最佳实践,目前尚无关于最优方法的明确共识。GenAI在用户画像开发中的应用目前仍是未知领域,使得画像开发者在采纳GenAI技术时难以做出明智决策。GenAI技术的发展也增加了画像开发者面临的挑战,正如Amin等人详细讨论的那样(Aminet al\.,2025 (https://arxiv.org/html/2504.04927#bib.bib142))。类似于数据驱动用户画像的发展(见综述(Salminenet al\.,2021 (https://arxiv.org/html/2504.04927#bib.bib135))),我们可以观察到多样化的方法论选择和技术实现。这些选择涉及多种因素,例如LLM系列的选择(如GPT、Claude或Llama)、LLM版本(如GPT 3\.5或GPT 4\.0)、超参数(即影响模型行为的参数(Jansenet al\.,2021c (https://arxiv.org/html/2504.04927#bib.bib76)))以及提示词(即给予LLM执行特定任务的指令)。尽管研究人员已经针对一般的用户画像开发提出了指南(Häyhänenet al\.,2025 (https://arxiv.org/html/2504.04927#bib.bib67); Jansenet al\.,2021a (https://arxiv.org/html/2504.04927#bib.bib75); Cooper,1999 (https://arxiv.org/html/2504.04927#bib.bib34); Nielsenet al\.,2015 (https://arxiv.org/html/2504.04927#bib.bib121); Pruitt and Grudin,2003 (https://arxiv.org/html/2504.04927#bib.bib131)),但研究人员如何具体使用GenAI进行用户画像开发仍不清楚。 另一个容易面临挑战的领域是GenAI画像的评估。传统的用户画像验证方法通常侧重于用户对画像的感知(Jansenet al\.,2021b (https://arxiv.org/html/2504.04927#bib.bib107); Salminenet al\.,2020b (https://arxiv.org/html/2504.04927#bib.bib141)),但GenAI画像需要额外考虑诸如输出一致性、防止幻觉(LLM编造信息的能力)和提示词可靠性等因素(Sattele and Carlos Ortiz,2024 (https://arxiv.org/html/2504.04927#bib.bib145); Laziket al\.,2025 (https://arxiv.org/html/2504.04927#bib.bib96))。此外,整合GenAI引发了关于评估GenAI生成画像与人类手工画像质量的问题(Aminet al\.,2025 (https://arxiv.org/html/2504.04927#bib.bib142))。评估方法差异很大,从自动指标到用户研究,目前尚不清楚研究人员如何验证和评估GenAI画像。 使用GenAI技术的伦理方面可能超越传统用户画像开发的关切。尽管先前的工作已经解决了画像中的刻板印象和代表性(Turner and Turner,2011 (https://arxiv.org/html/2504.04927#bib.bib159); Goodman\-Deaneet al\.,2018 (https://arxiv.org/html/2504.04927#bib.bib62),2021 (https://arxiv.org/html/2504.04927#bib.bib61))等问题,但GenAI似乎放大了某些挑战,例如算法偏见、数据隐私和透明度(Aminet al\.,2025 (https://arxiv.org/html/2504.04927#bib.bib142); Guptaet al\.,2024 (https://arxiv.org/html/2504.04927#bib.bib64); Prpaet al\.,2024 (https://arxiv.org/html/2504.04927#bib.bib130); Hämäläinenet al\.,2023 (https://arxiv.org/html/2504.04927#bib.bib66))。当用户画像代表多样化的用户群体并影响针对这些人群的设计决策时,这些挑战可能变得尤为尖锐,从而促使我们需要理解研究人员在使用GenAI进行用户画像开发时,如何将伦理关切纳入考量。 在这些研究挑战的背景下,我们提出了三个研究问题(RQ): - • RQ1:GenAI技术如何在用户画像开发中使用? - • RQ2:GenAI画像如何进行评估? - • RQ3:与GenAI画像相关的伦理考量有哪些? 基于HCI领域的用户画像研究(Pruitt and Adlin,2010 (https://arxiv.org/html/2504.04927#bib.bib132); Salminenet al\.,2021 (https://arxiv.org/html/2504.04927#bib.bib135)),并遵循HCI领域文献综述的指南(Kitchenham and Charters,2004 (https://arxiv.org/html/2504.04927#bib.bib92)),本范围性综述分析了2022年至2025年间关于GenAI用于用户画像开发的81篇文章。范围性综述通常描绘当前范围、关键概念和知识空白(Arksey and O’Malley,2005 (https://arxiv.org/html/2504.04927#bib.bib175)),鉴于GenAI画像领域的快速演变,该方法非常适合用于研究。为此,我们识别了趋势、缺口和机遇,并就如何将GenAI整合到用户画像开发流程中为实践者提供建议。考虑到GenAI工具及其在用户研究和设计过程中的广泛应用,本工作为HCI社区解决了一个及时且相关的议题。 ## 2\.以往综述与研究空白 在UX/HCI实践中,用户画像充当共享参考点,帮助设计师共情用户并做出符合用户需求的决策(Pruitt and Adlin,2010 (https://arxiv.org/html/2504.04927#bib.bib132))。传统的用户画像开发包括通过研究方法(访谈、调查、分析)收集用户数据,通过分析识别不同的用户群体,并编写代表这些群体的人性化叙事档案(Cooper,1999 (https://arxiv.org/html/2504.04927#bib.bib34); Salminenet al\.,2021 (https://arxiv.org/html/2504.04927#bib.bib135))。乍一看,GenAI似乎通过在大多数上述任务中展现的能力来增强自动用户画像生成。 自动用户画像开发在HCI领域已存在十多年(Junget al\.,2018 (https://arxiv.org/html/2504.04927#bib.bib82),2017 (https://arxiv.org/html/2504.04927#bib.bib81); Mijačet al\.,2018 (https://arxiv.org/html/2504.04927#bib.bib114))。然而,自动化用户画像的局限性一直很明显,特别是在分析用户文本记录和编写用户画像叙事时(Salminenet al\.,2023 (https://arxiv.org/html/2504.04927#bib.bib138)),而这是许多画像创建方法中的关键活动(Nielsen,2019 (https://arxiv.org/html/2504.04927#bib.bib177))。LLM之前的算法和模型难以完成解释性任务,例如编写用户画像叙事或标记用户群体(Jansenet al\.,2021a (https://arxiv.org/html/2504.04927#bib.bib75)),这限制了自动用户画像生成的潜力,因为需要结合数据科学方法论进行大量的人工干预(Jansenet al\.,2020 (https://arxiv.org/html/2504.04927#bib.bib74); Mijačet al\.,2018 (https://arxiv.org/html/2504.04927#bib.bib114))。由于之前AI模型的解释能力有限,研究人员应用了基于规则的系统,例如带有预定义字段的动态模板,用于动态插入信息(Nielsenet al\.,2015 (https://arxiv.org/html/2504.04927#bib.bib121))。相比之下,LLM的解释能力为上下文解释和总结关于人的文本数据这一主要挑战提供了可能的解决方案(Junget al\.,2025 (https://arxiv.org/html/2504.04927#bib.bib83))。然而,问题依然存在,LLM在用户画像开发中的最佳实践仍未知,包括应遵循的理想技术和流程(Salminenet al\.,2024a (https://arxiv.org/html/2504.04927#bib.bib139))。也存在实际障碍;例如,在用户画像开发中,关于人机协作的概念尚不明确,尽管研究人员似乎一致同意需要保持“人在回路中”,而不是将所有决策权交给GenAI(Shinet al\.,2024 (https://arxiv.org/html/2504.04927#bib.bib150))。有趣的是,人在回路在画像理论中也被认为是很有价值的,因为让预期使用画像的利益相关者参与画像创建过程,有助于发展对画像技术的积极态度(Neateet al\.,2019 (https://arxiv.org/html/2504.04927#bib.bib178); Fuglerudet al\.,2020 (https://arxiv.org/html/2504.04927#bib.bib179))。此外,HCI研究人员对实施GenAI进行用户画像开发所关联的风险和挑战(包括伦理关切,例如在缺乏文化背景真实数据时强化现有系统性偏见或边缘化代表性不足的群体(Aminet al\.,2025 (https://arxiv.org/html/2504.04927#bib.bib142)))的认识程度也不清楚。这些挥之不去的担忧促使我们需要进行文献综述,以调查GenAI画像开发中的现有实践、方法论和新兴模式。 为此,用户画像研究的综述已经涉及了定量画像(Salminenet al\.,2020a (https://arxiv.org/html/2504.04927#bib.bib140))、数据驱动画像(Salminenet al\.,2021 (https://arxiv.org/html/2504.04927#bib.bib135))、用于社会影响的画像(Guanet al\.,2023 (https://arxiv.org/html/2504.04927#bib.bib63))以及画像设计应用(Salminenet al\.,2022 (https://arxiv.org/html/2504.04927#bib.bib144))等领域。尽管这些综述为画像开发方法提供了宝贵的见解,但它们并未专门解决GenAI技术整合到用户画像开发中的问题。我们将在第5节 (https://arxiv.org/html/2504.04927#S5)中讨论我们的发现如何定位在用户画像研究的连续体中,特别是与先前综述的关系。鉴于GenAI在用户画像开发中日益增长的采用(Shinet al\.,2024 (https://arxiv.org/html/2504.04927#bib.bib150); Hämäläinenet al\.,2023 (https://arxiv.org/html/2504.04927#bib.bib66); Salminenet al\.,2024a (https://arxiv.org/html/2504.04927#bib.bib139); Choiet al\.,
相似文章
基于角色的生成式AI多元对齐评估框架
本文提出了一种基于角色的评估框架,利用合成认知档案代表不同人类视角,用于生成式AI的多元对齐,解决了单一基准测试的局限性。
有基准却无度量——生成式人工智能应以现实效用为评估标准
本文主张生成式人工智能的评估应从静态基准转向衡量现实效用和人类成果。文章提出了 SCU-GenEval 框架及辅助工具,旨在解决基准表现与部署成功之间的脱节问题。
创建下一代角色
文章讨论使用 GPT-3 来为应用程序创建高级人工智能驱动的角色,可能用于游戏、交互式媒体或虚拟环境。
超越合作模拟器:为LLM代理的稳健评估生成逼真的用户角色
提出了Persona Policies(PPol),一种即插即用的控制层,利用LLM驱动的进化程序搜索来生成多样且逼真的用户角色,用于评估LLM代理。相比基线实现了33-62%的适应度提升,逼真度评分达到80.4%,并将代理鲁棒性提升了+17%的任务成功率。
生成式AI与数字生态系统韧性:基于生命周期的主动式综述
本综述整合了关于生成式AI加速的对抗性合成内容主动检测的新兴研究,提出了基于生命周期的分类法,采用C5交互模型来融合机器学习和社会科学方法。