解读和引导社会模拟中的LLM智能体

# 解释与引导大语言模型智能体实现社会模拟
来源：https://arxiv.org/html/2609.16436  
作者：Jiayue Gaveal Fan††通讯作者：gaveal\.fan@berkeley\.edu。我们感谢MIT BIG\.AI会议和NBER AI与经济测量会议与会者提供的宝贵反馈。文中所有错误由我们承担。Arul Murugan  
所属机构：加州大学伯克利分校数据创新与人工智能实验室（DIAL）  
Shreyas Krishnan  
所属机构：加州大学伯克利分校数据创新与人工智能实验室（DIAL）  
Abhishek Nagaraj  
所属机构：加州大学伯克利分校数据创新与人工智能实验室（DIAL）  
所属机构：美国国家经济研究局（NBER）  
2026年9月  

###### 摘要  
基于大语言模型（LLM）的模拟已被证明在理解人类行为方面具有强大能力，使其成为社会科学工具箱中的宝贵补充。然而，LLM本质上是基于深度神经网络的黑箱，这限制了它们对社会科学的价值。原因在于：(i) **解释性**缺失——即无法清晰归因驱动观察到行为的机制；以及(ii) **可操控性**缺失——即无法静音或放大特定具有理论意义的行动机制来引导特定模型行为。本文展示了如何打开这个黑箱以进一步丰富基于LLM的模拟。具体而言，我们比较了三类方法：(1) 基于提示的操纵，(2) 基于稀疏自编码器（SAE）的特征引导，以及(3) 基于探针的方向引导，并研究了它们在基于LLM的社会科学模拟中的效用。我们通过解释和引导人类行为的两个基础维度——即**偏好**（风险态度、利他主义）和**能力**（发散性创造力、产品创新）——来进行此项研究，这些维度通过四个经典的经济学和创造性任务（以自然语言交互实现）进行操作化。总体而言，我们的结果显示，在引导LLM智能体方面，基于SAE和探针的技术通常优于基本的基于提示的方法，尽管这种优势取决于所采用的具体提示策略。综合来看，SAE和探针构成了一个有效的流程，供寻求在社会模拟中解释和引导智能体的社会科学家使用：SAE将智能体的内部表示分解为人类可读的特征，随后探针可以可靠地将智能体行为向指定方向进行调整。我们讨论了这些方法对未来利用LLM智能体进行社会科学研究的启示。  

## 1 引言  
大语言模型（LLM）在多个维度上模仿人类：它们理解自然语言，能与人类交流，并展现出与人类相似的行为模式（Anthis等人，2025 (https://arxiv.org/html/2609.16436#bib.bib4)）。它们对社会科学很有帮助，因为与同等数量的人类相比，它们能以更低的成本响应不同的实验场景（Park等人，2024 (https://arxiv.org/html/2609.16436#bib.bib49)）。此外，基于LLM的生成式智能体还可以训练来模仿真实人类的不同角色，这使社会科学家能够研究人类行为的异质性（Jackson等人，2025 (https://arxiv.org/html/2609.16436#bib.bib31)）。通过基于生成式智能体的模拟，社会科学家可以更经济高效地通过使用这些智能体而非完全依赖人类参与者进行实验，来发展新的人类行为理论（Tranchero等人，2024 (https://arxiv.org/html/2609.16436#bib.bib55)）。鉴于这些优势，社会科学家有动力使用生成式智能体来进行社会模拟（Horton，2023 (https://arxiv.org/html/2609.16436#bib.bib28)；Chen等人，2023 (https://arxiv.org/html/2609.16436#bib.bib14)）。  
话虽如此，基于LLM的模拟可能并非在所有情况下都能始终如实地匹配人类行为（Gao等人，2025 (https://arxiv.org/html/2609.16436#bib.bib23)；Hullman等人，2026 (https://arxiv.org/html/2609.16436#bib.bib30)）。导致这种不一致的一个重要原因是，生成式智能体的黑箱性质已被证明是社会科学模拟的主要障碍（Anthis等人，2025 (https://arxiv.org/html/2609.16436#bib.bib4)）。社会科学家通过归纳（揭示观察到行为背后的机制）或演绎（从抽象概念中推导假设并通过定量或实验方法进行检验）来构建新理论（Davis和Bingham，2007 (https://arxiv.org/html/2609.16436#bib.bib17)；Hedström，2005 (https://arxiv.org/html/2609.16436#bib.bib26)）。黑箱LLM对这两种方法都构成了重大障碍。归纳需要**解释性**，即观察行为并理解驱动这些行为的潜在机制的能力。另一方面，演绎需要**可操控性**，即放大或静音底层机制以观察预测行为的能力。开箱即用的LLM既无法被解释也无法被操控，这限制了它们作为强大社会科学研究工具的潜力。  
只要基于LLM的模拟为在类似环境中理论化人类行为提供了一条有用的途径，那么理解其内部工作原理并通过有针对性的干预来引导它们的能力，将极大地增加它们在推进社会科学方面的效用。在此，我们开发了一个框架来比较研究LLM黑箱的不同方法，以评估其在解释和引导社会模拟中生成式智能体方面的效用。我们有两个目标：**解释性**——理解驱动观察到的LLM行为的潜在内部机制；以及**可操控性**——扰动行动机制以研究这些机制对下游结果的因果效应的能力。为此，我们利用了机制可解释性领域的新兴方法（常被称作生成式AI模型的“神经科学”）（Nanda等人，2023 (https://arxiv.org/html/2609.16436#bib.bib45)），这是一个计算机科学领域，已应用这些技术来提升模型安全性并改进AI训练流程。我们在此将这些技术应用于社会科学研究，以展示它们在此情境下的效用。  
首先，我们展示了**稀疏自编码器（SAE）** 如何打开LLM黑箱以解释模型行为。SAE是伴随目标LLM的预训练神经网络，它们学习将模型激活分解为人类可解释的特征（Cunningham等人，2023 (https://arxiv.org/html/2609.16436#bib.bib16)）。通过这样做，它们可以在推理过程中以无监督方式归纳性地揭示模型内部表示的行为概念。随后，我们比较了标准的基于提示的控制方法（即提示LLM智能体扮演特定角色）与基于SAE的特征引导以及一种更简单的替代方案——**线性探针**（Alain和Bengio，2017 (https://arxiv.org/html/2609.16436#bib.bib2)）的有效性。这两种方法都依赖于放大或静音已识别的、代表驱动LLM行为的假设机制的特征。这类似于生物学环境中用于研究特定疾病、基因或突变的转基因小鼠。  
我们通过关注模拟人类行为的两个基本维度——**偏好**和**能力**——在一系列经典实验任务中验证了所提出方法的有效性。对于偏好，我们研究了彩票游戏（风险）（Edwards，1954 (https://arxiv.org/html/2609.16436#bib.bib18)）和最后通牒游戏（利他主义）（Camerer和Thaler，1995 (https://arxiv.org/html/2609.16436#bib.bib10)）。对于能力，我们检验了捕捉发散性创造力和产品创新的简单任务。对于每个游戏，我们使用SAE来理解模型内哪些特征被激活，以期揭示可能驱动智能体行为的机制。然后，我们为驱动模型行为的核心特征（例如，彩票游戏中的冒险意图）构建探针，并比较使用基于探针和SAE的方法引导这些特征（例如，放大冒险欲望）与基于提示的方法引导这些特征的有效性。  
在所有四个游戏中，我们发现基于SAE和探针的引导技术表现通常优于基本的基于提示的干预方法，尽管当与更先进的提示策略（如少样本提示和思维链提示）相比时，这种优势有所缩小。具体而言：(1) 与基本的基于提示的方法相比，基于SAE的方法提供了对智能体行为更好的理解和更大的控制力；(2) 基于探针的方法在预定义智能体特征上表现出更强的可操控性，而基于SAE的方法能够探索和引导先前未知的特征。例如，在彩票游戏中，SAE能够识别出可能驱动智能体行为的潜在机制“风险态度”，并且我们可以通过引导此特征来修改智能体的选择。探针则更进一步，允许对特定风险厌恶程度的精确控制。  
我们的方法展示了社会科学家如何通过对智能体行为的表示和机制理解（通过深度神经网络的可解释性和引导技术）来更深入地洞察生成式智能体模拟，并施加更精细的控制。我们对新兴的AI模拟社会科学文献（Horton，2023 (https://arxiv.org/html/2609.16436#bib.bib28)；Park等人，2024 (https://arxiv.org/html/2609.16436#bib.bib49)；Kazinnik，2023 (https://arxiv.org/html/2609.16436#bib.bib32)）做出三项贡献。第一，我们首次比较性地探讨了基于提示、机制可解释性（SAE）和表示可解释性（探针）方法在理解和引导社会科学模拟中LLM智能体行为方面的应用。第二，我们展示了SAE和探针如何沿着主要的人类化维度，提供对智能体行为的可解释、细粒度控制，超越了仅使用基于提示技术的能力。最后，我们在一系列测量偏好和能力的经典实验任务中验证了我们的框架，为在生成式智能体模拟中利用机制和表示可解释性提供了早期的概念验证。总之，我们的论文指明了使用生成式智能体构建更具解释性和可操控性的社会科学模拟工具的道路。  

## 2 相关工作  
### 2.1 在社会科学中使用生成式智能体  
社会科学家长期以来一直利用数字化转型的力量来处理海量数据并解决社会科学问题（King，2011 (https://arxiv.org/html/2609.16436#bib.bib33)）。最近，将机器学习和人工智能作为一种方法论途径应用于归纳和演绎研究（Davis和Bingham，2007 (https://arxiv.org/html/2609.16436#bib.bib17)），已在全面范围内帮助了社会科学家。例如，通过机器学习工具进行文本挖掘有助于归纳研究的模式识别（Lazer等人，2009 (https://arxiv.org/html/2609.16436#bib.bib35)；Salganik，2017 (https://arxiv.org/html/2609.16436#bib.bib51)）。另一方面，对于演绎研究，计算能力的进步使研究人员能够使用基于智能体建模等方法，从一组微观规则中推导出宏观层面的模式（Epstein，1999 (https://arxiv.org/html/2609.16436#bib.bib21)；Macy和Willer，2002 (https://arxiv.org/html/2609.16436#bib.bib39)）。鉴于最近LLM相对于传统计算方法的快速发展，我们探究LLM能否作为社会科学的新方法论工具。  
当前研究将LLM视为一种利用AI系统的工具，该系统通过从大规模人类文本数据中学习来理解和生成人类语言（Llama Team，2024 (https://arxiv.org/html/2609.16436#bib.bib37)）。以语言为接口，LLM能够与他人交流，包括人类和其他LLM。这使得LLM能够通过其输出文本来模拟人类行为。它们与人类的相似性在个体和群体环境中都有体现。LLM能够生成在人口统计学（Park等人，2024 (https://arxiv.org/html/2609.16436#bib.bib49)）、经济理性（Chen等人，2023 (https://arxiv.org/html/2609.16436#bib.bib14)；Xie等人，2025 (https://arxiv.org/html/2609.16436#bib.bib59)）、认知能力（Toubia等人，2025 (https://arxiv.org/html/2609.16436#bib.bib54)）以及其他基本属性（Abdulhai等人，2024 (https://arxiv.org/html/2609.16436#bib.bib1)）方面与真实人类水平异质性相似的特征。LLM还具有社会能力，使它们能够在人工环境中组织社交活动（Park等人，2023 (https://arxiv.org/html/2609.16436#bib.bib48)），并且可以生成结构类似于人类社交网络的网络（Chang等人，2025 (https://arxiv.org/html/2609.16436#bib.bib12)）。  
LLM的出色表现促使研究人员使用LLM驱动的生成式智能体来复制传统上在人类身上进行的实验（Horton，2023 (https://arxiv.org/html/2609.16436#bib.bib28)；Tranchero等人，2024 (https://arxiv.org/html/2609.16436#bib.bib55)）。在实验中使用生成式智能体有几个优势，包括低成本、易获得性以及与真实人类行为的高度相似性。生成式智能体补充了传统基于智能体建模中智能体的确定性，为模拟引入了真实世界的语境细微差别和可变性（Gao等人，2024 (https://arxiv.org/html/2609.16436#bib.bib22)）。因此，生成式智能体在多个方面都有帮助：试运行未经测试的实验以观察可能的结果，以及改进现有的演绎工具，这些工具补充了社会科学中使用机器学习的传统数据驱动方法（Grimmer等人，2021 (https://arxiv.org/html/2609.16436#bib.bib24)）。  
尽管有许多优点，但生成式智能体的行为像一个黑箱——我们无法清晰解释它们为何如此行事，也无法可靠地引导它们指向特定的机制（Jackson等人，2025 (https://arxiv.org/html/2609.16436#bib.bib31)；Ludwig和Mullainathan，2024 (https://arxiv.org/html/2609.16436#bib.bib38)）。可解释性问题之所以产生，是因为LLM是在海量、文档化不足的语料库上训练的，因此不可能知道哪些声音和假设被代表；这使它们变成了输出质量缺乏问责的“随机鹦鹉”（Bender等人，2021 (https://arxiv.org/html/2609.16436#bib.bib7)）。即使事后解释可用，它们也很少反映模型的真实推理过程，并可能误导下游分析（Rudin，2019 (https://arxiv.org/html/2609.16436#bib.bib50)）。可操控性问题源于这种不透明性：相同的观察行为可能由完全不同的内部机制产生，这意味着研究人员无法分离或操纵他们希望研究的因果过程。结果，生成式智能体有可能模糊而非阐明理论背后的机制（Gao等人，2025 (https://arxiv.org/html/2609.16436#bib.bib23)）。然而，如果我们能打开这个黑箱，我们就获得了理解智能体行为驱动机制并有意修改它们的能力，从而扩展其可信的用途。