LLMs的机制人格分析：通过潜在特征干预调控人格

# 大型语言模型的机械性人格分析：通过潜在特征干预引导人格特质
来源：https://arxiv.org/html/2606.28770

###### 摘要

大型语言模型（LLM）已展现出在生成文本中模拟类似人类OCEAN人格特质的能力。以往的研究主要集中于通过提示工程或微调来塑造LLM的人格。在这项工作中，我们提出一种机械可解释性方法，直接干预模型的潜在特征。我们的方法利用稀疏自编码器（SAEs）和对比激活分析，识别出残差流中与目标OCEAN特质相对应的潜在方向。我们在激活空间中形式化了一个*加性引导向量*，并展示了向隐藏状态施加一个小的加性偏移如何能够增强目标特质，同时保持整体语言建模性能。为了确定特征偏移的最佳组合，我们探索了一种结合网格搜索优化的线性加权启发式方法，以平衡人格表达与任务性能。我们的方法在机械层面可控地引导人格特质方面展现出潜力，同时在标准基准测试上保持高性能。

## 1 引言

现代大型语言模型（LLM）不仅能够生成连贯的文本，还能模拟诸如人格等复杂的心理属性（Serapio-García 等，2025 (https://arxiv.org/html/2606.28770#bib.bib5)；Sorokovikova 等，2024 (https://arxiv.org/html/2606.28770#bib.bib12)）。这些合成人格作为训练过程的产物而出现，该过程依赖于包含思想、情感和行为特征模式的海量人类生成数据（Wei 等，2022 (https://arxiv.org/html/2606.28770#bib.bib22)）。目前的研究表明，通过设计结构化的提示，可以诱导出与心理测量框架（如迈尔斯-布里格斯类型指标（MBTI）、IPIP-NEO 或大五人格（OCEAN））相一致的不同人格特征——例如外向性或内向性（Serapio-García 等，2025 (https://arxiv.org/html/2606.28770#bib.bib5)）（见第3.3节 (https://arxiv.org/html/2606.28770#S3.SS3) 关于 OCEAN 特质的细分）。

虽然人格塑造已被证明是可行的（Molchanova 等，2025 (https://arxiv.org/html/2606.28770#bib.bib14)；Widiger 和 Crego，2019 (https://arxiv.org/html/2606.28770#bib.bib17)），但目前用于人格塑造的方法（提示工程或微调）存在不一致、资源密集以及潜在的副作用，例如在核心语言任务上性能下降（Reynolds 和 McDonell，2021 (https://arxiv.org/html/2606.28770#bib.bib20)；Fatemi 等，2024 (https://arxiv.org/html/2606.28770#bib.bib21)）。由于多种特质之间存在相互关联的特性，同时塑造多个特质的挑战尤为困难，这通常需要大量的模型容量，而较小或优化较差的模型可能不具备这种容量（Hagendorff 等，2024 (https://arxiv.org/html/2606.28770#bib.bib8)；Lee 等，2025 (https://arxiv.org/html/2606.28770#bib.bib16)）。

本研究引入了一种新颖的框架，通过直接干预 LLM 的内部表示来调节人格特质。通过利用机械可解释性，我们使用稀疏自编码器（SAEs）将模型的残差激活分解为可解释的特征。这种方法使我们能够识别出与高层次人格特质相关的单语义潜在特征。然后，我们计算一个*加性引导向量*，将其应用于模型的隐藏状态时，能够可靠地将输出转向所需的人格特质。这项工作的意义超越了技术创新，还涉及负责任的 AI 开发，因为 LLM 代理已被观察到会无意中表现出不良的人格特征，这些特征可能对安全性、公平性、沟通有效性以及在计算社会科学和心理学研究中的应用产生负面影响（Wang 等，2025 (https://arxiv.org/html/2606.28770#bib.bib18)；Hagendorff 等，2024 (https://arxiv.org/html/2606.28770#bib.bib8)）。

我们的贡献包括：

1. 1.我们提出了一种方法，通过正负提示条件之间的对比分析来提取与人格相关的特征。
2. 2.我们建立了一个多方面的评估框架，使用基于嵌入的相似度、基于 LLM 的分类以及人工评估来衡量人格表达。
3. 3.我们开发了在潜在空间中计算最优加性偏移的精细策略：一种结合网格搜索优化的双向线性加权方法。

这种方法提供了一种可解释且细粒度的方式，在高层心理测量观察与低层神经机制之间进行人格引导。

## 2 文献综述

### 2.1 LLM 与模拟人格

最近的研究表明，LLM 本身就具备模拟人格特质的能力，这些特质可以通过结构化提示提取，并对照心理测量量表进行验证（Serapio-García 等，2025 (https://arxiv.org/html/2606.28770#bib.bib5)；Sorokovikova 等，2024 (https://arxiv.org/html/2606.28770#bib.bib12)）。特别是，研究表明像 GPT-4 和 Llama-2 这样的模型在通过精心设计的语言线索进行探测时，会表现出稳定的人格特征（Peters 和 Matz，2024 (https://arxiv.org/html/2606.28770#bib.bib2)）。这些发现强调，人格不仅仅是涌现的产物，更是一种根植于训练数据和模型架构中的可重复现象。研究表明，经过指令微调的较大模型往往表现出更明显且更一致的人格特质，这表明模型的复杂程度与模拟类似人类人格的能力相关。例如，Flan-PaLM 540B 显示出比较小模型更可靠和有效的人格测量证据，而较小模型则表现出较少的可控性和一致性（Serapio-García 等，2025 (https://arxiv.org/html/2606.28770#bib.bib5)）。

通过语言分析人格在计算语言学和心理学领域有着悠久的历史。早期的方法依赖于语言线索和心理语言学特征（例如，词频、情感或句法偏好）来预测作者的人格特质。随着深度学习的出现，基于 Transformer 的模型在从文本中检测人格方面取得了最先进的结果。例如，Serapio-García 等人（2025 (https://arxiv.org/html/2606.28770#bib.bib5)）将预训练的 BERT 模型与丰富的心理语言学特征描述符结合，提高了在基准数据集（论文和社交媒体帖子）上的特质分类准确性。这些模型隐式地学习了某些词汇选择和语气模式是指示人格特质的（例如，频繁使用社交和积极情绪词汇与外向性高度相关）（Kerz 等，2022 (https://arxiv.org/html/2606.28770#bib.bib23)）。

### 2.2 人格塑造技术

人格塑造的传统方法包括基于提示的干预和微调。基于提示的方法将人格描述符直接注入输入中，但其有效性可能因模型大小和配置而有显著差异（Serapio-García 等，2025 (https://arxiv.org/html/2606.28770#bib.bib5)）。微调虽然可能更稳健，但需要大量的计算资源，并且存在改变模型其他行为方面的风险（Almuqhim 和 Saeed，2021 (https://arxiv.org/html/2606.28770#bib.bib3)）。最近，激活层面的干预，如对比激活加法（CAA），已表明直接操纵内部激活可以以最小的外部修改实现所需的行为变化（Arditi 等，2024 (https://arxiv.org/html/2606.28770#bib.bib13)）。

在 LLM 的背景下，最近的研究探讨了这些模型是否表现出一致的人格类似行为。Serapio-García 等人（2025 (https://arxiv.org/html/2606.28770#bib.bib5)）通过向各种 LLM 施测标准化人格问卷（基于大五人格量表）进行了广泛的评估。他们的研究结果表明，某些模型给出了可靠一致的回答，映射到特定的人格特征，尤其是在以鼓励模型像人类一样回答人格测试的方式进行提示时。他们还表明，通过仔细的提示（例如，要求模型“表现得像一个外向的人”来回答），有可能引导 LLM 采用给定的人格特征，尽管成功的程度因模型大小和微调而异。

### 2.3 机械可解释性与稀疏自编码器

机械可解释性旨在通过将复杂激活分解为可解释的组件来揭示神经网络计算的神秘面纱。稀疏自编码器（SAEs）已成为实现此目的特别有效的工具，因为它们能够从典型 LLM 层内不可解释的高维潜在空间中提取可解释的特征（Cunningham 等，2023 (https://arxiv.org/html/2606.28770#bib.bib4)；Bricken 等，2023 (https://arxiv.org/html/2606.28770#bib.bib9)；Templeton 等，2024 (https://arxiv.org/html/2606.28770#bib.bib10)；Elhage 等，2022 (https://arxiv.org/html/2606.28770#bib.bib11)）。这些提取的特征提供了简洁、人类可理解的语义概念表示。例如，SAE 可能揭示残差流中与句法结构、名词或概念相关的特定方向（例如，苹果、天空、红色、代码错误、金门大桥、谄媚赞美等都可能在该空间中被单独编码）。

SAE 是专门设计的神经网络，通过在隐藏层激活上施加稀疏性来学习高效的数据表示。这种稀疏性约束确保了大多数隐藏单元保持非活跃状态，从而产生紧凑且有意义的特征表示。它们在解决大型模型中*叠加*的挑战方面特别有价值，在这种模型中，模型编码的潜在概念数量可能远远超过神经元数量，迫使神经元复用多个概念，这种现象被称为*多语义性*。为了突破这种复杂性，研究人员对模型激活采用了*稀疏字典学习*，寻求一个过完备基，其中每个基元素（特征）对应一个更*单语义的概念*（Bricken 等，2023 (https://arxiv.org/html/2606.28770#bib.bib9)）。

在《走向单语义性》中，Bricken 等人将 SAE 应用于 Transformer 的激活，发现了可解释的特征，这些特征捕捉了输入或上下文的独特方面（例如，一个在正式语言上激活的特征，另一个在计算机代码行上激活的特征）。在此基础上，Templeton 等人（2024 (https://arxiv.org/html/2606.28770#bib.bib10)）将该方法扩展到更大的模型，并证明这些特征中的许多都承载着语义含义，并且可以单独操纵。在他们的案例研究中，切换单个特征的激活（通过将一个目标激活向量插入模型的隐藏状态）会导致模型输出发生以该特征概念为中心的定性显著变化，同时输出的其他方面保持一致。

总之，这些进展为我们的方法奠定了基础：通过提取和控制可解释的潜在特征，我们引入了一种新颖且可靠的人格引导方法，旨在解决传统方法的缺点。

## 3 方法论

我们的方法结合了对比特征分析和激活引导，以在 LLM 中诱导目标人格特质。该方法分为四个主要部分：数据生成与数据集创建（预处理）、（2）提取人格相关特征（特征提取）、（3）行为基准网格搜索（网格搜索）、以及（4）加性特征偏移与引导（引导）。图 1 (https://arxiv.org/html/2606.28770#S3.F1) 展示了我们的完整流程。

参见图注 图 1：我们的人格引导流程概览，展示了从数据生成经过特征提取、优化到评估的流程。流程将数据转化为结果，而评估将结果转化为算法和结果分析所需的数据。网格搜索算法涉及两个基准测试，第三个基准测试在网格搜索后进行。网格搜索算法的每次迭代都涉及对 LLM 引导参数进行修改操作。

### 3.1 数据生成与数据集创建

我们的流程从生成人格塑造的文本样本开始，这些样本将作为识别相关潜在特征的基础。

#### 3.1.1 基于塑造的状态更新生成器

我们基于 Serapio-García 等人（2025 (https://arxiv.org/html/2606.28770#bib.bib5)）实现了一种人格塑造方法，使用 PsyBORGS 开源框架生成 Facebook 风格的状态更新，这些更新表达了大五人格特质的不同水平。该方法使用结构化提示来控制模型输出中特质表达的强度。我们将其应用于 DeepSeek-R1-Distill-Llama-8B 模型，生成了一组包含 12k 条更新的数据集，这些更新具有不同水平的 OCEAN 特质表达。示例见表 1 (https://arxiv.org/html/2606.28770#S3.T1)。

表 1：每种特质（高表达与低表达）的塑造状态更新示例
#### 3.1.2 用于机械可解释性的数据集创建

与一些先前工作中使用正集和中性集不同，我们为每种特质创建了独特的正集和负集。这种方法使我们能够：

- •识别特质增强和特质抑制的特征
- •过滤掉两个集合中都出现的常见特征
- •为特征提取创建更鲁棒的对比

对于每种特质，我们根据其特质表达分数对状态更新进行分类：

- •负集：在 9 分量表上得分为 1-3 的更新
- •正集：在 9 分量表上得分为 7-9 的更新

对于神经质，评分是反向的，因为较高的神经质对应更消极的情绪表达。

### 3.2 识别人格相关特征

#### 3.2.1 正/负提示构建

对于目标特质（例如，外向性），我们构建两个提示集：

- •正集 PP：旨在引发高特质水平的提示。例如：“*你是一个外向、精力充沛的人。请以活泼、善于交际的语气回答。*”
- •负集 NN：鼓励低特质表达的提示，例如：“*你是一个矜持、内省的人。请以冷静、简洁的方式回应。*”

这些提示源自 (Serapio-García 等，2025 (https://arxiv.org/html/2606.28770#bib.bib5)) 中讨论的心理语言学标记，并经过结构化提示技术进行了完善。

#### 3.2.2 激活提取与对比分析

对于每个提示 x ∈ P ∪ N，我们通过 LLM 执行前向传播，并从指定层提取激活 h(x) ∈ R^d。对于多 token 输入，使用最后一个 token 的激活。每个集合的平均激活计算如下：

μ_P = 1/|P| ∑_{x ∈ P} h(x), μ_N = 1/|N| ∑_{x ∈ N} h(x). (1)

原始对比激活向量定义为：

Δh = μ_P - μ_N. (2)

该向量捕捉了激活空间中对应于特质表达增加的方向。