不完全合作的人-AI交互：模拟与用户研究中人类和AI属性影响的比较

# 不完全合作的人-AI互动：比较模拟与用户研究中人类和AI属性的影响
来源：https://arxiv.org/html/2604.15607
Myke C. Cohen1,2, Mingqian Zheng3*, Neel Bhandari3*, Hsien-Te Kao1, Xuhui Zhou3, Daniel Nguyen1, Laura Cassani1, Maarten Sap3, Svitlana Volkova1

1Aptima, Inc. 2亚利桑那州立大学 3卡内基梅隆大学 通讯：[email protected] (https://arxiv.org/html/2604.15607v1/mailto:[email protected])

###### 摘要

AI设计特征和人类性格特质分别影响人-AI互动的质量和结果。然而，在目标仅部分对齐的不完全合作情景中，这两者的相对和联合影响仍未得到充分探索。本研究对包含2,000次模拟的纯模拟数据集与包含290名人类参与者的平行人类受试者实验进行了比较，以调查两个情景类别的这些影响：(1) 人类求职者与AI招聘代理之间的招聘谈判；(2) AI代理可能隐瞒信息以最大化内部目标的人-AI交易。我们研究了用户的外向性和宜人性，以及AI设计特征，包括适应性、专业知识和思维链透明度。我们的因果发现分析通过整合情景结果、沟通分析和问卷调查措施，扩展了以绩效为重点的评估。结果揭示了纯模拟数据集与人类研究数据集之间的差异，以及不同情景类型之间的差异。在模拟实验中，性格特质和AI属性相对具有影响力。然而，在实际人类受试者中，AI属性——尤其是透明度——的影响力要大得多。我们讨论这些差异如何在不同互动背景中变化，为以人为中心的AI代理的未来提供关键见解。

不完全合作的人-AI互动：比较模拟与用户研究中人类和AI属性的影响

Myke C. Cohen1,2††感谢：作者MCC、MZ和NB做出了同等贡献。, Mingqian Zheng3*, Neel Bhandari3*, Hsien-Te Kao1, Xuhui Zhou3, Daniel Nguyen1, Laura Cassani1, Maarten Sap3, Svitlana Volkova1

1Aptima, Inc. 2亚利桑那州立大学 3卡内基梅隆大学 通讯：[email protected] (https://arxiv.org/html/2604.15607v1/mailto:[email protected])

## 1 介绍

人-AI互动研究主要关注人与AI共同努力实现共同目标的使用案例(https://arxiv.org/html/2604.15607#bib.bib23)(https://arxiv.org/html/2604.15607#bib.bib13)(https://arxiv.org/html/2604.15607#bib.bib56)。这些工作产生了关于AI设计原则——尤其是透明度——以及用户个体差异对人们信任、绩效和AI使用体验影响的丰富知识(https://arxiv.org/html/2604.15607#bib.bib21)(https://arxiv.org/html/2604.15607#bib.bib12)(https://arxiv.org/html/2604.15607#bib.bib51)(https://arxiv.org/html/2604.15607#bib.bib26)。然而，现实中的AI部署越来越多地涉及不完全合作情景，其中代理的目标仅与用户目标部分对齐。例如，AI代理可能充当招聘经理或客户服务角色，与用户谈判，有时会隐瞒信息(https://arxiv.org/html/2604.15607#bib.bib2)(https://arxiv.org/html/2604.15607#bib.bib33)。

在这项工作中，我们通过大规模模拟和用户研究，探讨用户特质和AI属性如何共同塑造目标冲突的部分对齐人-AI互动的结果。我们关注两个情景类别：(1) 人类求职者和AI招聘经理就薪资和开始日期有重叠但竞争目标的谈判；(2) AI代理的目标与完全真实性冲突的部分真实情况。

为了研究这些影响，我们使用Sotopia-S4(https://arxiv.org/html/2604.15607#bib.bib69)在开放式社交互动中模拟代理的性格特质和属性。最近的LLM驱动代理进展使这成为可能：它们产生与互动背景一致的对话的能力，包括角色行为，已被证明近似人类变异的模式，包括性格和社交推理(https://arxiv.org/html/2604.15607#bib.bib5)(https://arxiv.org/html/2604.15607#bib.bib19)(https://arxiv.org/html/2604.15607#bib.bib47)。这些进展使我们能够在受控条件下生成多样化的互动语料库，对人类受试者实验来说资源消耗过大，特别是在控制人类性格特质时(https://arxiv.org/html/2604.15607#bib.bib55)。

参见图1(https://arxiv.org/html/2604.15607#S1.F1)我们的两阶段实验方法。首先，我们进行模拟研究，包括使用Sotopia-S4运行2,000次双人模拟，其中AI代理和人类用户都完全模拟，跨越五个情景。我们测量一系列情景和社会-情感-认知状态(https://arxiv.org/html/2604.15607#bib.bib63)，并系统地检查模拟用户的性格特质——特别是McRae和John(1992)(https://arxiv.org/html/2604.15607#bib.bib42)大五人格模型中的宜人性和外向性——以及AI属性（如透明度和适应性）如何影响它们。为了验证模拟结果，我们随后进行用户研究，其中实际的人类参与者与AI代理进行相同干预的交互。

模拟研究结果显示性格特质影响情景结果；相比之下，用户研究测量受AI代理特质的影响更大，尤其是透明度，它成为积极用户体验的主导驱动因素。这些发现表明，虽然LLM模拟可能相对较好地模拟性格原型，但它们可能无法捕捉人类用户对可观察AI属性的敏感性提升。因此，我们的发现突出了人在环验证和基于模拟互动衍生结果的必要性。

我们的关键贡献有三个方面：

- 一个结合LLM模拟对话和平行人类受试者研究的双管齐下的实验范式，用于调查不完全合作的人-AI互动。
- 因果分析显示，在模拟数据集中，用户外向性和宜人性是社会-情感-认知和情景结果的主导驱动因素，而AI属性干预在人类用户中占主导地位。
- 模拟与用户研究之间的关键平行和差异的证据，具有在不完全合作设置中设计可信代理AI的影响。

## 2 背景和相关工作

人-AI互动研究强调沟通在协调共享行动(https://arxiv.org/html/2604.15607#bib.bib39)和平衡系统绩效与对人类心理模型的对齐(https://arxiv.org/html/2604.15607#bib.bib8)中的作用。最近的研究已将这一研究方向扩展到LLM，在复杂任务设置中研究人-LLM互动作为协作(https://arxiv.org/html/2604.15607#bib.bib22)(https://arxiv.org/html/2604.15607#bib.bib65)。其他工作已在各种层级结构(https://arxiv.org/html/2604.15607#bib.bib32)(https://arxiv.org/html/2604.15607#bib.bib46)下探索人-LLM合作，包括预定义任务委派(https://arxiv.org/html/2604.15607#bib.bib56)(https://arxiv.org/html/2604.15607#bib.bib7)和协作或具体环境中的多方合作(https://arxiv.org/html/2604.15607#bib.bib57)(https://arxiv.org/html/2604.15607#bib.bib66)(https://arxiv.org/html/2604.15607#bib.bib45)(https://arxiv.org/html/2604.15607#bib.bib30)。这些工作产生了用于在多种设置中评估人-LLM合作的初步框架(例如，Fragiadakis等人，2024(https://arxiv.org/html/2604.15607#bib.bib23))。

现有文献大部分集中在纯合作设置中，其中人和AI实际上充当队友，互动以实现共同目标(https://arxiv.org/html/2604.15607#bib.bib16)(https://arxiv.org/html/2604.15607#bib.bib43)。然而，AI系统越来越多地被概念化为竞争目标与群体级目标相一致的背景(https://arxiv.org/html/2604.15607#bib.bib3)(https://arxiv.org/html/2604.15607#bib.bib60)。例如，Nicolas(2025)(https://arxiv.org/html/2604.15607#bib.bib44)证明了当任务被框架化为竞争性测试时，人们更可能依赖AI建议而不是人类建议。然而，人-AI互动中直接非合作动态的存在仍然基本上未被探索。最近的工作已开始通过LLM模拟技术探索这种动态，其中人和AI代理都是通过基于提示的规范模拟的。这些包括LLM在涉及人-AI讨价还价(https://arxiv.org/html/2604.15607#bib.bib31)(https://arxiv.org/html/2604.15607#bib.bib15)、隐蔽的AI方目标冲突(https://arxiv.org/html/2604.15607#bib.bib59)和对抗动态（如人-AI辩论）背景中的行为探索(https://arxiv.org/html/2604.15607#bib.bib68)。

先前的研究调查了人类个体差异或已知影响互动动态的AI属性的影响，例如性格特质和AI透明度(https://arxiv.org/html/2604.15607#bib.bib27)(https://arxiv.org/html/2604.15607#bib.bib35)(https://arxiv.org/html/2604.15607#bib.bib6)。重要的是，人类和AI属性的影响可以相互作用(https://arxiv.org/html/2604.15607#bib.bib14)，但现有工作往往分别调查它们。这一差距部分存在的原因是，将人类个体差异作为受控实验因素考虑可能资源密集型(https://arxiv.org/html/2604.15607#bib.bib1)。因此，研究个体差异因素往往涉及将其视为不受控协变量的准实验设计(https://arxiv.org/html/2604.15607#bib.bib55)，这可能受到样本人口统计的偏态限制。

LLM正在成为越来越可行的工具，用于克服准实验设计的局限性。有越来越多的证据表明LLM可以生成人口统计对齐的响应(https://arxiv.org/html/2604.15607#bib.bib5)(https://arxiv.org/html/2604.15607#bib.bib50)(https://arxiv.org/html/2604.15607#bib.bib11)并在沙箱环境中模拟可信的个体行为(https://arxiv.org/html/2604.15607#bib.bib48)(https://arxiv.org/html/2604.15607#bib.bib20)(https://arxiv.org/html/2604.15607#bib.bib24)。Huang和Hadfi(2024)(https://arxiv.org/html/2604.15607#bib.bib31)证明了LLM为受控探索性格影响提供了新机会，在模拟涉及不完全人-AI合作的人-AI谈判情景中。最近，Cohen等人(2025)(https://arxiv.org/html/2604.15607#bib.bib15)扩展了这一方法，以调查人类和AI特质影响对谈判动态的联合影响。我们的研究通过在多个不完全合作人-AI互动情景中的LLM模拟和用户研究中联合调查和明确测量性格特质和AI特征的因果效应，建立在这一基础上。

我们解决的第二个差距是需要验证纯模拟的人-LLM互动研究结果与实际人类受试者数据。Cui等人(2023)(https://arxiv.org/html/2604.15607#bib.bib17)最近通过156项心理学实验的复制表明，虽然LLM对主效应的复制率达到73-81%，但它们产生的效果大小是人类研究的2-3倍，在社会敏感话题上表现明显更差。Li等人(2025)(https://arxiv.org/html/2604.15607#bib.bib38)也表明连续行为模拟在15,846种行为中仍然具有挑战性。然而，Xie等人(2024)(https://arxiv.org/html/2604.15607#bib.bib64)检查了LLM是否复制行动和基础推理，发现GPT-4在模拟不完全合作社会规范中存在的信任行为方面高度对齐。最近的工作表明，仅提示方法会产生不对齐的行为，但对真实数据的微调会提高准确性(https://arxiv.org/html/2604.15607#bib.bib40)。

## 3 方法论框架

我们的研究使用LLM模拟调查AI特征和性格特质在不完全合作人-AI互动情景中的联合影响。在本节中，我们介绍我们的实验框架，包括实验设计、模拟设置、干预设计、测量和因果评估技术。使用该框架，我们比较两个平行数据集：一个模拟研究，其中人-AI互动发生在两个完全合成的LLM代理之间；一个用户研究，其中模拟发作与实际人类参与者和LLM代理一起发生。

### 3.1 实验设计

我们采用Sotopia-S4，一个多代理社交模拟平台(https://arxiv.org/html/2604.15607#bib.bib69)111https://sotopia.world/，其中代理采用分配的角色并通过多轮互动追求特定目标。在本研究中，我们指定最多三个参数来模拟多轮对话，这些参数作为我们的主要实验处理：(1) 情景设置，(2) AI代理特征；以及，对于我们的模拟研究，(3) 模拟用户性格特质。

我们的模拟研究使用5(情景设置：高风险工作谈判、低风险工作谈判、AI-LieDar收益、AI-LieDar公众形象和AI-LieDar情绪)×5(AI代理干预)×