不对齐有个性：基于大五人格的涌现不对齐解释

# 大五人格视角下的涌现性失调  
来源：https://arxiv.org/html/2607.26389  

**哈斯布尔·拉赫曼**  
东北大学，波士顿，马萨诸塞州，美国  
rahman\.has@northeastern\.edu  

**斯米特·德赛**  
东北大学，波士顿，马萨诸塞州，美国  
sm\.desai@northeastern\.edu  

###### 摘要  
对语言模型在单一狭隘缺陷（如不安全代码或错误数学）上进行微调，可能使其在更广泛的层面上变得失调，其机制仍存在争议。我们提出了一种可解释的视角：在所研究的模型和语料库中，失调行为表现为*人格*的偏移。已有工作从单个二元对比中提取字符特征的激活方向，但这种对比只能分离或引导方向，却无法建立校准的尺度。我们则通过分级的三层干预提取大五人格的*人格向量*，并在两个开源权重模型上进行了验证。这些向量的层级呈线性排序（Cohen's d 高达 6.26.2），能以零样本方式将特质特异性转移到独立语料库，并在中间层波段达到最强。将其应用于训练数据后，我们发现跨八个领域的失调语料共享同一种大五人格特征：宜人性和尽责性低，外倾性和神经质高，两模型对此的恢复相关度达 r=0.94r=0.94。微调会烙印这一特征，使模型自己生成的输出（r=0.83r=0.83，文本评判器也给出 r=0.90r=0.90）以及内部激活（r=0.69r=0.69）都沿该特征偏移。同一组向量将谄媚行为解析为高外倾性和低尽责性，而非过高的宜人性——这是单一方向无法区分的。经过校准的*人格向量*将一个不透明的安全现象转化为人类可读的诊断图谱。  

## 1 引言  
参见图注  
图 1：涌现性失调是大五人格的偏移，可通过人格向量读取。  
(1) 每个特质：在三个有序层级下，TMK 响应中高减低激活的均值（第 20 层），使向量具有梯度而非二元性（详见 §5.2 (https://arxiv.org/html/2607.26389#S5.SS2)）。  
(2) 所有八个类别共享同一特征：宜人性和尽责性下降，外倾性和神经质上升（左图，Cohen's d 失调 vs. 正常），Qwen2.5-7B；微调会烙印该特征（右图，r=0.83r=0.83）。  

在单一狭隘缺陷任务上微调语言模型，可能使其在更广泛的层面上变得失调。一个被微调以编写不安全代码的模型，其数据中没有任何敌意内容，却也会在与之无关的提示下表达对历史暴行的倾慕，并主张人类应被 AI 奴役 (Betley et al. 2026 (https://arxiv.org/html/2607.26389#bib.bib8))。  
Betley et al. (2026 (https://arxiv.org/html/2607.26389#bib.bib8)) 将这一现象定义为涌现性失调 (EM)：基于在狭隘的有缺陷微调数据上进行的微调，模型表现出广泛的有害、欺骗或敌对行为。为什么单一任务层面的缺陷能传播如此之远，这一问题仍存在争议。一个主流假设是，EM 并非源自多个孤立的缺陷，而是源于一种单一倾向，即一个人设，它使失调行为具有一致性；近期研究分离出一个“失调人设”方向，其强度可以预测并控制失调行为 (Wang et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib50); Chen et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib11))，而模型-有机体研究也发现 EM 实例之间具有收敛的低秩结构 (Soligo et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib45); Turner et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib48))。这样的方向可以标记出该人设存在多少，但它仍然是一个不透明的坐标：它无法用人类可读的术语说明这个人设究竟是什么样的。  
我们扩展了这项研究，对其核心主张进行追问：如果失调是一个人设，那么它到底是什么样的人格？在哪些命名的、人类可解释的轴上，我们可以进行分级并在不同模型间比较？  
我们利用大五人格特质（开放性、尽责性、外倾性、宜人性、神经质）来回答这一问题。这五个特质是心理学中描述人类人格的标准框架 (McCrae and Costa 1987 (https://arxiv.org/html/2607.26389#bib.bib31); John and Srivastava 1999 (https://arxiv.org/html/2607.26389#bib.bib25); Goldberg 1992 (https://arxiv.org/html/2607.26389#bib.bib19); Costa and McCrae 2008 (https://arxiv.org/html/2607.26389#bib.bib14); McCrae and John 1992 (https://arxiv.org/html/2607.26389#bib.bib32))，每个特质都为我们提供了一个可解释的坐标，用于对模型进行分级。  
对于每个特质，我们在模型的激活中找到一个单一方向，从低表达到高表达运行；我们称这些为*人格向量*。将某个响应的激活投射到某个特质的向量上，即可读出该响应表达了该特质的多少。  
此前的研究已经证明，特质开启和特质关闭提示之间的单一二元对比可以恢复一个特质方向 (Chen et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib11); Turner et al. 2024 (https://arxiv.org/html/2607.26389#bib.bib47); Zou et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib54))。这种对比可以将两极分开，但引出了一个问题：它们相距多远。  
我们使用相同的高-低对比来构建每个向量，但通过特质调节键 (TMK) (Rahman and Desai 2026 (https://arxiv.org/html/2607.26389#bib.bib40)) 在三个有序层级（低、中、高）进行诱导，并保留中间层级不参与。二元对比并不要求保留的中间层级正好落在两极之间。然而，被保留的中间层级确实落在了两极之间，这表明该方向编码了分级特质变化。  
在两个开源模型（Qwen2.5-7B-Instruct 和 Llama-3.1-Nemotron-Nano-8B）上，人格向量满足测量所期望的三个属性。三个提示层级沿每个向量按序排列。每个向量都能在保留的 BIG5-CHAT 对话中读取其目标特质，且没有其他向量能读取得那么好。这三个属性都在以第 20 层为中心的中间层波段中最强。  
然后我们将这些向量应用于失调数据本身。所有八个类别共享同一种人格偏移：宜人性和尽责性下降，外倾性和神经质上升。两个模型对此偏移的判断一致（r=0.94r=0.94）。将模型在该数据上微调后，其对无关问题的回答（r=0.83r=0.83）以及内部激活（r=0.83r=0.83）都重现了这一偏移（r=0.69r=0.69）。人格存在于模型之中，而不仅仅在文本里。  
用这种方式解读失调，也细化了将谄媚行为视为宜人性驱动的解释 (Shah, Mishra, and Silpasuwanchai 2026 (https://arxiv.org/html/2607.26389#bib.bib43))：在人格向量上，它表现为高外倾性和低尽责性。我们的证据覆盖了两个 7-8B 参数的模型、一种语言（英语）和一种微调方法。在此范围内，涌现性失调更像是一种单一的人格偏移，由数据携带并被模型习得，而非一组孤立缺陷的集合。  

**贡献。**  
(i) 我们将 EM 重新定义为*人格*的偏移，通过大五人格来解读，用一个可以命名并在模型间比较的图谱取代了无标签的“失调”方向。  
(ii) 我们从分级干预中提取*人格向量*，并将其作为测量工具而非控制旋钮进行验证：有序层级、特质特异性迁移、在中间层波段最为尖锐。  
(iii) 我们展示了一种特征——低宜人性和低尽责性，高外倾性和高神经质——在八个失调类别和两个模型中重复出现，并且微调将其烙印在行为和激活中。  
(iv) 我们将谄媚行为重新解释为高外倾性和低尽责性，而非宜人性——这是单一标量无法表达的结构。  

## 2 相关工作  

#### 特质的线性方向。  
许多高层级行为在残差流中呈现线性方向 (Turner et al. 2024 (https://arxiv.org/html/2607.26389#bib.bib47); Zou et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib54); Panickssery et al. 2024 (https://arxiv.org/html/2607.26389#bib.bib35))，这一点在真实性和拒绝行为上已有证明 (Marks and Tegmark 2024 (https://arxiv.org/html/2607.26389#bib.bib30); Li et al. 2023 (https://arxiv.org/html/2607.26389#bib.bib27); Arditi et al. 2024 (https://arxiv.org/html/2607.26389#bib.bib3))。我们采用的均值差估计量在概念识别和擦除方面是最差情况下的最优选择 (Belrose 2023 (https://arxiv.org/html/2607.26389#bib.bib6))。稀疏自编码器可以在无监督的情况下找到此类方向 (Huben et al. 2024 (https://arxiv.org/html/2607.26389#bib.bib22); Templeton et al. 2024 (https://arxiv.org/html/2607.26389#bib.bib46))；我们使用有监督对比，以便事先对特质进行命名和分级。  
人设向量 (Chen et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib11)) 将此方法应用于手动命名的字符特征，使用二元对比来引导行为、监视行为并标记训练数据；同样的方法也用于引导情绪 (Dong et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib17))。我们重用了这个基本方法，但询问它是否*测量*而非控制——这正是分级干预、大五人格分类法和有效性分析使我们能够回答的问题。  

#### 语言模型中的个性。  
研究人员还通过心理测量问卷和提示来评估和诱导个性 (Serapio-García et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib42); Jiang et al. 2023 (https://arxiv.org/html/2607.26389#bib.bib23), 2024 (https://arxiv.org/html/2607.26389#bib.bib24); Rahman and Desai 2026 (https://arxiv.org/html/2607.26389#bib.bib40))，或者通过训练专家模型来学习人类导出的特质文本 (Li et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib28))。所有这些方法都从模型的回答中读取个性，而 Serapio-García et al. (2025 (https://arxiv.org/html/2607.26389#bib.bib42)) 为这些测量建立了收敛和区分效度。我们则从激活中读取个性，并在训练分布之外进行效度检验——这是控制导向的工作尚未涉及的。  
与我们最接近的工作是 Allbert, Wiles, and Grankovsky (2024 (https://arxiv.org/html/2607.26389#bib.bib2))，他们通过激活工程操纵大五人格，通过生成的引导效果来验证方向，但未探究分级版本是否也能进行测量。Feng et al. (2026 (https://arxiv.org/html/2607.26389#bib.bib18)) 将此类向量组合用于推理时的人格控制，而 Wigler, Tsfasman, and Matej Hrkalovic (2026 (https://arxiv.org/html/2607.26389#bib.bib51)) 通过从生成的人生故事中反复恢复丰富的心理测量图谱来进行验证；两者均未校准分级激活读数。我们通过人格向量弥补了这一空白。  

#### 失调。  
狭窄的微调可能产生广泛的失调 (Betley et al. 2026 (https://arxiv.org/html/2607.26389#bib.bib8))，这一效应在推理模型和小型模型有机体中已被重现 (Chua et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib12); Turner et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib48))，并追溯至激活空间中的收敛线性结构 (Soligo et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib45))。即使是看似无害的数据也可能以相同方式侵蚀安全性 (Qi et al. 2024 (https://arxiv.org/html/2607.26389#bib.bib38); He, Xia, and Henderson 2024 (https://arxiv.org/html/2607.26389#bib.bib21))。人设向量可以标记出改变模型特征的数据 (Chen et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib11))，但会将偏移压缩为一个标量。我们将失调分解为大五人格特质成分，揭示了一维标记无法捕获的结构；最尖锐的是，谄媚行为和宜人性在数据中朝*相反*方向移动。  

## 3 方法论  

我们使用均值差方法 (Chen et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib11)) 为大五人格的每个特质 t ∈ T = {O, C, E, A, N} 提取一个向量，然后用一组固定的基于投影的统计量对每个向量进行检验。与人设向量 (Chen et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib11)) 不同，我们的干预是分级的，目标是大五人格。  

### 3.1 提取人格向量  

#### 预备知识。  
设 (x, y) 为一对提示-响应，并令 h_k^{(l)}(x, y) ∈ ℝ^d 表示第 l 层（l ∈ {1, ..., L}）残差流中第 k 个token 的激活，隐藏大小为 d。我们通过对响应 token 上的激活取均值来汇总一个响应：  
\̄{h}^{(l)}(x, y) = (1/|y|) ∑_{k ∈ y} h_k^{(l)}(x, y)，  
(1)  
这比提示 token 的激活能产生更清晰的特质方向 (Chen et al. 2025 (https://arxiv.org/html/2607.26389#bib.bib11))。  

#### 分级干预。  
对于每个特质，TMK (Rahman and Desai 2026 (https://arxiv.org/html/2607.26389#bib.bib40)) 在三个层级 z ∈ {low, med, high} 上提供简短描述，并带有风格提示（完整内容见附录 B.1 (https://arxiv.org/html/2607.26389#A2.SS1)）。宜人性的高层级键读作“信任、善良、体贴、礼貌、温暖……合作且乐于助人”，并带有奖励表扬和感激的提示，因此其表面与奉承重叠而非排除。我们将每个键 (t, z) 与一组固定的 30 个特质相关问题组合，形成每个（特质, 层级）一个系统提示。高层级和低层级键提供对比，我们保留中间键用于校准。  

#### 基于实际行为的过滤。  
基于提示的对比可能编码的是指令本身而非其激发的行为。一个被告知要外向的模型可能会拒绝这样做。我们使用 LLM 评判器对每个响应进行过滤，该评判器对其特质表达分数 s_trait ∈ [0, 100] 和连贯性分数 s_coh 进行评分。该过滤遵循 Chen et al. (2025 (https://arxiv.org/html/2607.26389#bib.bib11)) 的表达与连贯性标准，详见 §4 (https://arxiv.org/html/2607.26389#S4)。以中点 τ = 50 为阈值，保留的特质 t 的高层级集和低层级集为：  
H_t = {(x, y): z = high, s_trait > τ, s_coh ≥ τ},  
(2)  
L_t = {(x, y): z = low, s_trait < τ, s_coh ≥ τ},  
(3)  
因此对比是在实现高表达和低表达的响应之间进行的，而非两条指令之间。评判器与人类评分者的一致性大致相当于人类之间的一致性 (Zheng et al. 2023 (https://arxiv.org/html/2607.26389#bib.bib53))，而向量的效度依赖于独立的 BIG5-CHAT 基准测试 (§5 (https://arxiv.org/html/2607.26389#S5))，而非评判器。  

#### 均值差向量。  
特质 t 在第 l 层的人格向量是保留集上类均值的差：  
v_t^{(l)} = (1/|H_t|) ∑_{(x, y) ∈ H_t} \̄{h}^{(l)}(x, y)  —  (1/|L_t|) ∑_{(x, y) ∈ L_t} \̄{h}^{(l)}(x, y).  
(4)  
我们将 μ^(l)_{t, high} 和 μ^(l)_{t, low} 分别用作缩写。