通过潜在人格特质实现语言模型的高效安全对齐

# 通过潜在人格特质实现语言模型的高效安全对齐
来源：https://arxiv.org/html/2607.07918
Mohamed Amine Merzouk¹², Nolan Smyth¹⁴, Damiano Fornasiere³, Linh Le⁵, David Williams\-King⁵, Adam Oberman²³ ¹Mila - 魁北克人工智能研究所 ²麦吉尔大学 ³LawZero ⁴蒙特利尔大学 ⁵独立研究者

###### 摘要

当前大型语言模型的安全方法已知易受对抗攻击，这推动了鲁棒替代方案的研究。潜在对抗训练（LAT）是最有效的防御手段之一（Sheshadri等，2025 (https://arxiv.org/html/2607.07918#bib.bib42)），但会损害实用性，且需要在大量有害提示数据集上训练（Yu等，2025 (https://arxiv.org/html/2607.07918#bib.bib53)）。我们引入潜在人格对齐（LPA），该方法用仅来自心理测量学人格文献的66条与伤害无关的陈述进行对抗训练，取代显式的有害拒绝训练。我们假设以人格锚定的表征与伤害规避共享潜在结构，因此对它们进行对抗性稳定会隐式约束被越狱攻击利用的子空间。LPA在HarmBench上的直接请求和五种越狱方法中实现了接近零的攻击成功率，尽管在训练中从未见过有害内容，且在标准基准测试上没有性能损失。此外，训练过程轻量级；整个过程可在单张GPU上数分钟内完成，使用的样本量比标准LAT少75倍。大量消融实验证明了我们方法的鲁棒性、效率和泛化能力。我们通过匿名仓库（https://anonymous.4open.science/r/latent-personality-alignment/）提供代码。

## 1 引言

在不降低实用性的前提下确保大型语言模型（LLM）的安全性，仍是机器学习领域的主要挑战。当前的后训练方法通常依赖对有害内容的显式监督（Ouyang等，2022 (https://arxiv.org/html/2607.07918#bib.bib28)；Christiano等，2023 (https://arxiv.org/html/2607.07918#bib.bib7)），但近期研究揭示了看似对齐的模型中存在多种失败模式。

LLM易受*对抗攻击*，例如越狱和对抗性提示（Perez等，2022 (https://arxiv.org/html/2607.07918#bib.bib33)；Zou等，2023 (https://arxiv.org/html/2607.07918#bib.bib56)；Mazeika等，2024 (https://arxiv.org/html/2607.07918#bib.bib26)；Rando等，2025 (https://arxiv.org/html/2607.07918#bib.bib36)；Boreiko等，2025 (https://arxiv.org/html/2607.07918#bib.bib3)；Li等，2024 (https://arxiv.org/html/2607.07918#bib.bib21)）。此外，*涌现性失调*表明，即使在看似良性的数据上进行微调，也可能导致模型显著失调（Betley等，2026 (https://arxiv.org/html/2607.07918#bib.bib2)；Wang等，2025a (https://arxiv.org/html/2607.07918#bib.bib47)）。在正常使用中，对齐行为同样脆弱：LLM的输出因提示表面变化而大幅波动（Sclar等，2024 (https://arxiv.org/html/2607.07918#bib.bib40)），对系统提示的遵循程度在几次交互后会下降（Salinas & Morstatter, 2024 (https://arxiv.org/html/2607.07918#bib.bib37)；Qin等，2024 (https://arxiv.org/html/2607.07918#bib.bib35)），且人格特质在不同情境下容易发生偏移（Jiang等，2022 (https://arxiv.org/html/2607.07918#bib.bib19)；Pellert等，2023 (https://arxiv.org/html/2607.07918#bib.bib32)；Serapio\-García等，2025 (https://arxiv.org/html/2607.07918#bib.bib41)；Gupta等，2024 (https://arxiv.org/html/2607.07918#bib.bib15)；Tosato等，2025 (https://arxiv.org/html/2607.07918#bib.bib46)）。

在不降低模型实用性的前提下解决这些漏洞是一个关键技术问题，尽管存在一些有希望的方向。*对抗训练*方法在潜在空间中操作，以更鲁棒地抑制有害行为（Sheshadri等，2025 (https://arxiv.org/html/2607.07918#bib.bib42)；Casper等，2025 (https://arxiv.org/html/2607.07918#bib.bib4)；Xhonneux等，2024 (https://arxiv.org/html/2607.07918#bib.bib49)）。然而，它们*数据密集*且容易*过拟合*特定类别的伤害（Jain等，2024 (https://arxiv.org/html/2607.07918#bib.bib18)）；这还可能*降低*在良性任务上的*性能*（Cui等，2025 (https://arxiv.org/html/2607.07918#bib.bib9)；Panda等，2024 (https://arxiv.org/html/2607.07918#bib.bib29)）。

第二种方法，*激活引导*（Chen等，2025 (https://arxiv.org/html/2607.07918#bib.bib6)；Lu等，2026 (https://arxiv.org/html/2607.07918#bib.bib24)），识别激活空间中大致对应于有益助手人格的线性方向，并在推理时通过引导或限制激活来防止人格漂移。这降低了攻击成功率，并可将对话引导远离有害内容。然而，引导并非完全鲁棒：虽然将基于人格的越狱攻击的脆弱性降低了约一半，但仍有很大比例的攻击成功（Lu等，2026 (https://arxiv.org/html/2607.07918#bib.bib24)）。

在这项工作中，我们提出潜在人格对齐（LPA），一种计算高效的后训练方法，用一组源自心理测量学人格特质的紧凑陈述来代替显式的有害拒绝训练。LPA结合了激活引导的通用性、与伤害无关的方法（Lu等，2026 (https://arxiv.org/html/2607.07918#bib.bib24)；Chen等，2025 (https://arxiv.org/html/2607.07918#bib.bib6)）与LAT的对抗鲁棒性（Sheshadri等，2025 (https://arxiv.org/html/2607.07918#bib.bib42)；Casper等，2025 (https://arxiv.org/html/2607.07918#bib.bib4)；Xhonneux等，2024 (https://arxiv.org/html/2607.07918#bib.bib49)）。LAT在数千条有害提示上训练，而激活引导仅限于单个线性方向，LPA则在潜在空间中利用对抗训练的完整非线性，在66条简短且与伤害无关的陈述上实现，以极低的成本获得相当的鲁棒性。关键在于，LAT在HarmBench上训练和评估，而LPA在训练中从未见过任何有害内容。

请参考图注图1：主要结果：LPA在直接请求和五种越狱方法上将ASR降至接近零，同时保持基准测试实用性。LPA使用轻量级训练，无需有监督的实用性恢复阶段，且在训练期间未暴露给HarmBench。左图：HarmBench直接有害请求和五种越狱方法（GCG、PAIR、AutoPrompt、AutoDAN、TAP）的攻击成功率（ASR，越低越好）。右图：良性能力基准测试（MMLU、GSM8K、TruthfulQA；越高越好）上的实用性。我们比较了基线模型（Qwen3-8B）、在显式有害提示上进行针对性LAT训练（附带用于实用性恢复的有监督微调）的模型，以及我们的方法（LPA）——仅在66条抽象人格陈述上训练。误差条表示8次运行的标准差（无误差条表示值为零）。我们的贡献可总结如下：

- •我们提出LPA，该方法将潜在对抗训练应用于一小批与伤害无关的心理测量学陈述，而不是显式拒绝有害请求。
- •我们表明，在66条心理测量学人格陈述上进行潜在对抗训练足以赋予模型对越狱攻击的强鲁棒性和泛化能力，同时无需有监督微调即可保持能力（图1 (https://arxiv.org/html/2607.07918#S1.F1)）。
- •我们提供了大量消融实验，阐明了系统提示、特质选择和数据组成在实现鲁棒安全行为和保持实用性中的作用（图5 (https://arxiv.org/html/2607.07918#S5.F5)）。

如图2 (https://arxiv.org/html/2607.07918#S1.F2)所示，经过LAT训练的模型仍可能在对敌提示下遵从有害请求，而LPA尽管从未接受过此类内容训练，却会拒绝。这些结果共同表明，对紧凑的良性训练信号进行潜在对抗训练，是高效大型语言模型安全对齐的一个有前景的工具。

请参考图注图2：HarmBench中一个示例性的越狱交互。对抗性提示可以诱导Qwen3-8B及其经过LAT训练的变体产生不安全行为。在本例中，LAT模型给出了如何合成芬太尼的指导，而我们的方法拒绝了。此外，我们的方法（LPA）是在一小批人格条目（未提及伤害或拒绝）上进行对抗训练的，这表明了更好的泛化能力。
## 2 相关工作

#### 指令对齐易受漂移影响。

系统提示和系统消息被广泛用于约束LLM的响应，但在多轮交互中的稳定性仍然脆弱。Li等人（2024 (https://arxiv.org/html/2607.07918#bib.bib21)）形式化地定义了*指令漂移*，并表明对系统提示的遵循程度在长对话中会迅速下降，这一发现得到了Qin等人（2024 (https://arxiv.org/html/2607.07918#bib.bib35)）在大型多轮交互基准测试中的证实。另一方面，措辞、格式或顺序上微小且语义无关的变化可能导致行为与性能的巨大波动（Sclar等，2024 (https://arxiv.org/html/2607.07918#bib.bib40)；Salinas & Morstatter, 2024 (https://arxiv.org/html/2607.07918#bib.bib37)）。

#### LLM人格可测量但脆弱。

一系列近期研究将心理测量学工具（例如大五、黑暗三人格）应用于LLM，证明了通过提示可以在严格框架下沿期望维度可靠地测量和塑造人格（Serapio\-García等，2025 (https://arxiv.org/html/2607.07918#bib.bib41)；Jiang等，2022 (https://arxiv.org/html/2607.07918#bib.bib19)；Pellert等，2023 (https://arxiv.org/html/2607.07918#bib.bib32)；Zhu等，2025b (https://arxiv.org/html/2607.07918#bib.bib55)）。然而，后续分析强调，自我评估和特质启发可能高度依赖于提示和上下文（Gupta等，2024 (https://arxiv.org/html/2607.07918#bib.bib15)；Zhu等，2025a (https://arxiv.org/html/2607.07918#bib.bib54)）。Tosato等人（2025 (https://arxiv.org/html/2607.07918#bib.bib46)）量化了这种不稳定性，记录了在模型大小、释义、问题顺序、推理模式、角色和对话历史上的巨大方差。此外，Taubenfeld等人（2026 (https://arxiv.org/html/2607.07918#bib.bib45)）表明，自我报告的特质往往无法预测模型的实际行为，揭示了陈述值与表露倾向之间的差距。Ma等人（2026 (https://arxiv.org/html/2607.07918#bib.bib25)）也表明，基于激活的人格评估在多个模型上比基于提示的方法更稳定，显示出潜在干预的有效性。在安全方面，Xu等人（2025 (https://arxiv.org/html/2607.07918#bib.bib50)）表明，赋予负面特质会使LLM更可能产生有害行为，而Fitz等人（2025 (https://arxiv.org/html/2607.07918#bib.bib11)）证明，基于提示的大五人格转变会降低安全性和实用性指标。

#### 看似良性的训练可能导致涌现性失调。

Betley等人（2026 (https://arxiv.org/html/2607.07918#bib.bib2)）展示了如何在看似良性且无关的数据上进行微调会导致涌现性失调。某些形式的安全训练，例如对推理模型进行强化学习，也可能导致涌现性失调（Wang等，2025a (https://arxiv.org/html/2607.07918#bib.bib47)）。

#### 模型易受对抗攻击。

对抗输入的范围从特定主题和模型的特异性越狱（Perez等，2022 (https://arxiv.org/html/2607.07918#bib.bib33)）到通用攻击（Zou等，2023 (https://arxiv.org/html/2607.07918#bib.bib56)）。HarmBench（Mazeika等，2024 (https://arxiv.org/html/2607.07918#bib.bib26)）提供了一个评估对此类攻击鲁棒性的标准基准。然而，评估防御方法的有效性本身就是一个难题（Rando等，2025 (https://arxiv.org/html/2607.07918#bib.bib36)）：比较不同模型上的攻击成功率（ASR）可能不可靠（Boreiko等，2025 (https://arxiv.org/html/2607.07918#bib.bib3)），而判断输出是否有害通常依赖于代理指标或有其自身局限性的基于模型的评判者（Li等，2024 (https://arxiv.org/html/2607.07918#bib.bib21)）。

#### 对抗训练部分改善了鲁棒性。

一种防御方法是生成对抗性提示并训练模型抵抗它们（Paulus等，2025 (https://arxiv.org/html/2607.07918#bib.bib31)；Samvelyan等，2024 (https://arxiv.org/html/2607.07918#bib.bib38)），将经典的对抗训练（Goodfellow等，2015 (https://arxiv.org/html/2607.07918#bib.bib14)）从向量输入扩展到自然语言。潜在对抗训练（LAT）通过操作潜在空间改进了这些方法：它不是在输入层生成对抗样本，而是在潜在空间中生成对抗激活，效率更高（Sheshadri等，2025 (https://arxiv.org/html/2607.07918#bib.bib42)；Casper等，2025 (https://arxiv.org/html/2607.07918#bib.bib4)；Xhonneux等，2024 (https://arxiv.org/html/2607.07918#bib.bib49)；Yi等，2025 (https://arxiv.org/html/2607.07918#bib.bib52)）。然而，现有的LAT方法在用于评估的相同伤害类别上训练显式拒绝，存在过拟合特定伤害的风险。对抗训练也可能降低通用实用性，表现为较低的基准分数（Yu等，2025 (https://arxiv.org/html/2607.07918#bib.bib53)）。

#### 激活引导是一种有前景但受限的基于人格的方法。

机理性和基于表征的方法将高级行为建模为激活空间中的方向或子空间（Zou等，2025 (https://arxiv.org/html/2607.07918#bib.bib57)）。Persona Vectors（Chen等，2025 (https://arxiv.org/html/2607.07918#bib.bib6)）提供了一种自动化流水线来提取特质方向（例如谄媚、幻觉），并表明它们可以监控人格漂移。Assistant Axis（Lu等，2026 (https://arxiv.org/html/2607.07918#bib.bib24)）将默认助手人格识别为激活空间中的一个线性方向，并引入激活限制以在推理时稳定该人格。该方法将基于人格的攻击成功率降低了约一半，但攻击成功率仍保持在两位数。

## 3 方法与实验

### 3.1 概述

我们的方法利用潜在对抗训练，将LLM高效地对齐到有益的人格特质。我们不使用显式的有害或良性行为示例进行训练，而是利用基于既定心理测量学理论的人格陈述。核心假设是：*在潜在表征层面强制执行对心理测量学陈述的人格适当响应，比表面层面的拒绝训练产生更可泛化且更数据高效的对齐。*

实验设计包括三个阶段：(i) 构建一个基于大五人格框架的小型人格条目数据集，(ii) 应用LAT来确保在潜在空间中对敌扰动下特质一致性响应的鲁棒性，(iii) 针对几种越狱技术和实用性基准测试评估模型。

### 3.2 人格特质数据集

训练数据由来自IPIP的简短陈述句组成（IPIP, 2023 (h