干预的幻象：你的LLM模拟实验其实是一项观察性研究

# 干预的幻象：你的大模型模拟实验实为观察性研究

来源：https://arxiv.org/html/2605.20767  
Victoria Lin¹,²  Taedong Yun¹  Maja Matarić¹  John Canny¹  Arthur Gretton¹  Alexander D’Amour¹  
¹Google DeepMind  ²卡内基梅隆大学  

###### 摘要  

大型语言模型 \(LLMs\) 展现出模拟人类行为的潜力，为研究对干预措施的反应提供了一种可扩展的方式。然而，由于LLMs主要基于观察性数据进行训练，在使用LLM模拟的合成用户进行实验时，干预措施可能导致潜在用户属性发生意外偏移，从而引发用户漂移，即不同处理条件下隐含的模拟人群存在差异，这可能扭曲效应估计。我们正式定义了由用户漂移可能导致的混淆或选择偏差，并展示了依赖于干预的偏移如何放大或削弱干预下用户反应的观测差异。为了诊断混淆，我们提出使用阴性对照结局——即在干预下应保持不变的属性——来识别不同干预条件下的分布偏移，从而提供用户漂移的证据。为了减轻漂移，我们研究了通过引出额外混杂因素来调整角色描述的方法，发现在调查式和多轮智能体评估中，有针对性的、与场景相关的混杂因素可以大幅减少偏差。  

## 1 引言  

大型语言模型 \(LLMs\) 正成为模拟人类行为的有力工具。传统上，许多科学应用依赖于人类反馈。大规模调查支撑着众多社会科学和公共政策研究，而现代机器学习系统则依靠人类响应数据进行训练和评估。由于大规模收集此类反馈是一个主要瓶颈，一种流行的替代方案是使用LLMs模拟用户[26, 3]，通常通过提示它们扮演特定角色[14, 8]。然后，这些用户可代替人类受访者进行合成实验，探索不同人群对新的政策、产品或对话交互可能如何反应——例如，评估对AI智能体的更新这类干预措施是否会产生更有利的用户结果[23, 19]。在此设定中，合成用户¹通过从目标用户分布中采样角色来实例化。然后，每个合成用户被分配与每个版本的AI智能体互动并提供反馈。理想情况下，合成用户的反应及由此得出的检验统计量应作为有效的反事实，反映真实用户在相同实验中的反应，从而实现对智能体的迭代改进[4, 22, 5, 41]。  
在本文中，我们认为由于LLM模拟中的用户漂移，这一愿景过于乐观。虽然合成实验被设计为模仿随机对照试验，但LLMs是通过溯因推理来运作的：面对欠指定的提示，它们会尽可能推断未指明的背景信息[39, 21]。考虑一个评估两种健康指导智能体的合成实验，用户被初始化为一名30岁男性（图1）。智能体1被提示以更技术性的方式讨论用户的运动习惯和身体状况，而智能体2则更泛泛地讨论身体活动。为了生成连贯的对话，与智能体1互动的LLM可能隐式地采用了一个严肃运动员的潜在特质，而与智能体2互动的LLM则可能模拟一个不太活跃的个体。  

图1：在LLM模拟实验中，两个以相同角色初始化的合成用户可能会因不同的干预条件而漂移，变成不同的用户。  

因此，在实验开始时以相同角色初始化的两个合成用户，在测量其结果时可能实际上成为不同的用户。由于这种漂移可能发生在以下角色属性上：(1) 在人类受试者中本应保持固定，以及 (2) 与实验的主要结果相关，因此它可能模糊真实的干预效果，并产生误导性的结果。如果合成用户报告对智能体2的满意度更高，则不清楚是智能体2确实更有帮助，还是模拟用户已漂移到了一个更容易被取悦的人群。为了诊断和缓解这个问题，我们的工作做出了三项贡献：  

1.  我们通过因果推断中的混淆视角，正式定义了用户漂移引起的偏差。我们认为，由于LLMs主要基于观察性数据进行训练，合成用户实验更类似于观察性研究而非随机实验。因此，给定干预条件下条件用户人群的差异——一种选择偏差形式——可能混淆对处理效应的估计。  
2.  我们引入了一种利用阴性对照结局[24]进行LLM用户漂移的经验诊断方法：这些结局是与用户相关的、应在干预下保持不变的变量（例如用户的种族）。不同干预条件下阴性对照结局分布的差异表明，模拟用户的潜在属性——这些属性在因果和时间顺序上先于干预，且在真实实验中应保持不变——确实会因干预而改变。我们提供了多个主要开源和专有LLM系列中模拟用户存在混淆的证据。  
3.  我们展示了在用户角色描述过程中通过调整混杂因素可以减轻用户漂移和选择偏差。我们提供的证据表明，选择与合成实验的处理和结局明确相关的混杂因素有助于减少选择偏差，而对不太直接相关的属性进行调整则效果不一致，有时甚至会无意中加剧选择偏差。  

我们的发现表明，对合成用户的评估需要谨慎对待。这项工作凸显了LLMs的生成界面如何可能具有误导性：虽然一项评估可能被设计为模仿随机对照试验，但试验中使用的LLM模拟用户可能会引入混淆偏差。  

## 2 相关工作  

**LLM用户模拟。** LLMs越来越多地被用于模拟用户行为，而角色提示已成为生成多样化用户视角的一种特别流行的策略。模拟方法包括使用包含人口统计属性的简短角色提示[33, 18, 19, 8]以及基于人生故事的较长角色提示[28, 34]，后者提供了“深度绑定”[20]和更准确的人口方差建模等优势。由于对话界面是合成用户交互的标准形式，大多数模拟文献评估的是指令微调的LLMs。先前分析这些特定模拟器的工作已经识别出不同的挑战，如模态崩塌、谄媚和角色不稳定[2, 23, 38]。一些证据表明，这些挑战在基础预训练模型的模拟中不那么明显[25]，尽管它们仍然容易受到提示敏感性等人工痕迹的影响[37]。  
评估LLM模拟用户的工作大多集中于它们的外部效度：即模拟用户生成的评分或意见模式与其真实人类对应者的匹配程度。最近的工作建立了外部效度的基准[7]，识别出失败模式[1, 23, 9, 30]，并提出了更好地对齐合成用户与人类用户的策略[20, 29, 6, 15]。我们的工作与这一研究方向互补：它聚焦于干预下合成用户研究的内部效度。这是一个独特的问题，专门考察实验条件之间的差异是否可以解释为因果关系，而不是实验结果是否可以推广。  

**LLMs中的混淆。** 关于这一主题最相似的先前工作来自[16]，他们注意到GPT-4o-mini[32]在模拟盲微观经济实验中表现出与混淆一致的实证行为。我们的工作在此实证研究基础上，引入了一个用于LLM用户模拟中混淆的形式化体系。我们进一步在更一般的实验设定中，提出了统一的方法来诊断和调整混淆偏差。  

## 3 问题陈述  

在真实和合成实验中，目标是估计干预对用户反应的因果效应。对于人类受试者，建立因果关系的黄金标准是随机试验，因为随机化的处理分配确保了可能影响用户反应的背景因素在不同干预组之间平衡。这隔离了干预对结果的影响。合成实验试图用合成用户复制这一特性：以相同方式初始化的LLMs被暴露于不同的干预措施，期望这能产生受控的比较。在本节中，我们认为LLM在合成实验中实际生成的数据更接近于观察性研究的数据。  

**符号与任务。** 令 \(A \in \{0,1\}\) 表示对用户的处理或干预，令 \(Y\) 表示主要结果（用户的反应）。令整个底层用户角色由一组属性 \(X\) 表示。令 \(L\) 为 \(X\) 中观测到的属性的子集，而 \(X \setminus L\) 为未被包含在 \(L\) 中的剩余潜在属性。任务是估计对 \(A\) 进行干预如何改变真实用户人群中 \(Y\) 的分布。  
例如，在智能体评估设定中，\(A\) 可能是与智能体1（\(A=0\)）或智能体2（\(A=1\)）的对话，而 \(Y\) 可能是用户报告的对对话满意度或质量的度量。变量如图2(a)所示。  

**理想随机设定。** 现在我们可以表达真实实验与合成实验之间的一个核心区别。遵循潜在结果框架[35]，令 \(Y(a)\) 表示在干预 \(A=a\) 下会观察到的潜在（或反事实）结果。我们旨在估计平均处理效应 (ATE)：  

\[\tau^{\text{ATE}} = \mathbb{E}[Y(1) - Y(0)] = \mathbb{E}[\mathbb{E}[Y(1) - Y(0) \mid L]]. \tag{1}\]

我们还做出两个标准因果假设：(1) 一致性：\(Y = A Y(1) + (1-A) Y(0)\)；(2) 潜在无混淆性：给定 \(X\)，\(A \perp Y(0), Y(1)\)。在这些假设下，我们可以将 \(\mathbb{E}[Y(a) \mid L]\) 表示为：  

\[\mathbb{E}[Y(a) \mid L] = \int_{\mathcal{X}} \underbrace{\mathbb{E}[Y \mid A=a, X \mid L]}_{\text{结果生成过程}} \underbrace{P(X \mid L)}_{\text{固定人群}} dX.\]

这是对 \(Y(1)\) 和 \(Y(0)\) 两者在固定边际角色人群 \(X\) 上的平均结果，也是在真实随机试验中测量的量。那么 \(\tau^{\text{ATE}}\) 可以从数据中识别，因为 \(\mathbb{E}[Y(a) \mid L] = \mathbb{E}[Y \mid A=a, L]\)。  

图2：有向无环图 (DAGs)，分别展示 (a) 真实世界观察性数据生成过程，(b) 通过阴性对照变量 \(Z\) 检测选择偏差，以及 (c) 通过迭代从 \(X \setminus L\) 中引出额外属性 \(L'\) 来减少选择偏差。红色虚线箭头表示导致模拟用户人群中用户漂移和选择偏差机制的后门路径。  

**合成设定。** 在合成实验中，我们不是测试真实用户人群，而是通过指定用户属性 \(L\) 来提示LLM扮演许多不同的角色。对于每个角色，我们在 \(A\) 的多个条件（例如，智能体1 vs. 智能体2）下模拟交互，并得到结果 \(Y\)。表面上，这类似于一个受控比较，其中相同的用户被呈现不同的干预措施。这种设置得以实现是因为LLM建模其生成分布的方式。虽然真实世界的数据生成过程遵循因果顺序 \(X, L, A, Y\)，但LLM按照其提示上下文的顺序分解联合分布：\(L, A, X, Y\)。作为一种生成过程，这种顺序很方便：它让我们能够以 \(L\) 的观测值为条件，并对每个角色分配两种干预 \(A\)，从而得到表观处理效应的最小方差估计。  
然而，LLMs是在观察性数据上训练的，其中用户的真实角色 \(X\) 既可能影响他们经历某种处理 \(A\) 的可能性（例如，自我选择与智能体1 vs. 2交互），也可能影响他们最终的反应 \(Y\)。因此，当我们在LLM的上下文中引入处理 \(A=a\)（该上下文之前已用 \(L\) 实例化）时，模型从其观测条件分布而非干预分布生成响应——即结果：

\[\mathbb{E}[Y \mid A=a, L] = \int_{\mathcal{X}} \underbrace{\mathbb{E}[Y \mid A=a, X, L]}_{\text{结果生成过程}} \underbrace{P(X \mid A=a, L)}_{\text{处理条件人群}} dX \tag{2}\]

这产生了观测效应：

\[\tau^{\text{obs}} = \mathbb{E}[Y \mid A=1] - \mathbb{E}[Y \mid A=0] = \mathbb{E}[\mathbb{E}[Y \mid A=1, L] - \mathbb{E}[Y \mid A=0, L]]\]