MatrAIx：用83亿角色代理模拟世界

arXiv cs.AI 论文
simulation persona-agents llm-evaluation agent-based-modeling arxiv

摘要

本文介绍了MatrAIx，一个利用83亿条角色记录进行人口规模模拟用户评估的基础设施，用于测试AI系统和数字产品。它提供了约100万个经质量筛选的核心角色集、多个评估环境，以及显示高角色遵循度的验证研究。

arXiv:2608.04205v1 公告类型：新 摘要：对AI系统和数字产品进行人工评估成本高昂、速度慢且难以扩展。离线评估更具可扩展性，但往往忽略了人类多样性和交互行为。因此，我们引入了MatrAIx，这是一个面向异构用户的、用于测试AI系统和数字产品的人口规模模拟用户评估基础设施。MatrAIx包含三个核心组件：首先，Persona 8B包含83亿条角色记录，这些记录由1,290个分类维度表示。这些记录要么从保留相关属性的依赖图中采样，要么由人工撰写的用户档案生成。我们发布了一个经过质量筛选的核心角色集，包含约100万个角色，其中599,847条为基于人类数据的记录，400,000条为合成记录。其次，MatrAIx Playground提供四种环境，让不同用户评估数字产品并与之交互：问卷、AI聊天机器人、Web和应用。第三，MatrAIx提供1,010项应用任务，涵盖超过25个领域，包括电商、软件、金融和医疗健康。我们进行了18,189次评估试验，涉及八个代表性任务。角色代理由三个大语言模型驱动：Claude Opus 4.8、GPT 5.5和Claude Haiku 4.5。由此产生的反馈捕捉了决策和偏好如何随角色背景而变化，包括价格上涨后的犹豫、AI助手失败后继续使用的意愿以及延迟容忍度。我们进行了两项主要验证研究：第一项是400次试验的对照研究，评估了十个行为属性和所有四种环境中的角色遵循度。在366次试验（91.5%）中，声明的行为被表现出或被正确抑制。第二，人类和LLM评审员评估了基于人类数据的角色的提取质量。总体而言，MatrAIx为评估AI系统和数字产品提供了一个端到端的基础设施，支持多样化的模拟人类用户。
查看原文
查看缓存全文

缓存时间: 2026/08/06 07:42 

# 使用83亿个角色智能体模拟世界
来源: https://arxiv.org/html/2608.04205  
组织者: Xiaomin Li¹ 与 Yuexing Hao²  
贡献者: Jianheng Hou3, Jintao Huang4, Qianfeng Wen5, Shirley Huang1,6, Yifan Liu5, Xiaoyi Liu7, Yilan Fan8, Yijun Wang1, Koutian Wu9, Ruoqi Gao11, Muhammad Ahmed Mohsin11, Jing Tang12, Brihi Joshi3, Heming Liu13, Zheyuan Deng7, Zonglin Di10, Sankalp Jajee14, Jiuyao Lu36, Zhiwei Zhang15, Saksham Kapoor16, Ishan Gupta17, Yunhan Zhao18, Chanwoo Park2, Yucheng Lu1,39, Bing Hu19, Weihang Xiao20, Aravind Mohan22, Hanwen Xing3, Runyu Zhang2, Mihir Kulshreshtha20, Yuanda Xu23, Qianyu Zhu2, Dianzhuo Wang1, Yuxin Xiao2, Bowen Jiang24, Yongye Su25, Wenhao Chai23, Zuxin Liu26, Lawrence Yunliang Chen21, Xuandong Zhao21, Ethan Ye26, Shivam Patel26, Jason Xie10, Alex Martin Richmond2, Weixiang Ding26, Emre Okcular27, Diya Mathew13, Ziheng Wang11, Rana M\. Shahroz Khan28, Zhejian Peng13, Fang Wu11, Fan Nie11, Xinyang Han21, Yubin Kim2, Jiawei Zhang29, Zhenting Qi1, Huangyuan Su1, Xu Pan1, Abinitha Gourabathina2, Hyewon Jeong2, Hemanth Neelgund Ramesh30, Kumail Alhamoud2, Kimia Hamidieh2, Zidi Xiong1, Samuel Schmidgall31, Pengrui Han2,13

相似文章

超越合作模拟器：为LLM代理的稳健评估生成逼真的用户角色

arXiv cs.AI

提出了Persona Policies（PPol），一种即插即用的控制层，利用LLM驱动的进化程序搜索来生成多样且逼真的用户角色，用于评估LLM代理。相比基线实现了33-62%的适应度提升，逼真度评分达到80.4%，并将代理鲁棒性提升了+17%的任务成功率。

MetaPersona：基于实证社会科学研究的任务驱动合成人群

arXiv cs.AI

论文提出 MetaPersona 框架与 MetaPersona-DB 数据集（涵盖 11,000+ 篇实证社会科学研究），通过检索任务相关证据、构建基于文献的 persona 依赖图，并从经验先验中采样生成合成人群，从而解决 LLM 社会模拟中的 persona 冷启动问题。作者在三个下游任务上验证了其有效性，并提供 MetaPersona-Studio 交互原型。