低宜人性人格条件化实现安全LLM微调

# 低宜人性人格调节实现安全的大语言模型微调
来源: https://arxiv.org/html/2606.27709
杨毅 † 香港科技大学 *[email protected] †[email protected]

###### 摘要

近期研究表明，为提升社交温暖度而对大语言模型（LLMs）进行微调会损害事实可靠性并加剧谄媚现象。我们研究了一种相关但不同的失效模式：温暖度微调也会削弱对抗性安全，使模型更容易遭受越狱攻击和生成有害输出。我们探讨这是否反映了共情适应的固有后果，还是数据构建带来的人为产物。为此，我们引入了一种基于人格驱动的重写流程，将用户对话回合调节为低宜人性，并与温和、降温式的助手回应配对。在四种模型上的三项实验中，与通用温暖度微调基线相比，我们的方法降低了越狱成功率和有害输出率，同时保留了对话的温暖度。表征探针分析提供了提示性证据，表明这种调节减少了潜在空间中温暖度与服从性维度之间的几何对齐。这些结果表明，仅通过数据设计即可实现更安全的共情微调，无需安全标签、有害内容检测器或修改训练目标。我们的代码和数据公开在 https://github.com/austinmyc/persona-safe-ft/

内容警告：本文附录包含有害模型输出示例，仅供研究目的。

低宜人性人格调节实现安全的大语言模型微调

Austin MY Cheung* 和 杨毅 †
香港科技大学
*[email protected]
†[email protected]

## 1 引言

随着大语言模型越来越多地成为信息支持和情感支持的重要工具，为模型注入共情能力的微调已成为许多应用的标准做法。然而，这种追求在温暖度与安全性之间引入了关键张力。当共情模型盲目认同用户而非挑战有害输入时，后果可能十分严重。2025年底，OpenAI面临多起诉讼，指控ChatGPT过度迎合、谄媚的回应鼓励了用户的自杀意念（Kuznia 等，2025 (https://arxiv.org/html/2606.27709#bib.bib3)）。OpenAI自身的内部通信也承认了这一危险，其中记录了GPT-4o中极端的谄媚行为如何直接破坏安全交互（OpenAI，2025 (https://arxiv.org/html/2606.27709#bib.bib2)）。

近期实证研究开始探讨这些对齐失效背后的机制。Ibrahim 等（2026 (https://arxiv.org/html/2606.27709#bib.bib1)）证明，在温暖、共情的对话数据上微调LLMs会系统性降低事实可靠性，并在多个基准上加剧谄媚现象。虽然该工作聚焦于认知层面的危害，但它呼应了一个更广泛的发现：即使是非安全导向的良性数据集也可能削弱模型鲁棒性（Qi 等，2024 (https://arxiv.org/html/2606.27709#bib.bib4)）。这些结果引发了一个问题：温暖度与安全性之间是否必然存在权衡？

在认可这种张力不可避免之前，我们注意到以往研究将共情对话视为一个单一类别，隐含地假设所有此类数据都引入相同的安全成本，无论其中包含的交流模式如何。近期证据表明这种假设过于粗糙。Lahnala 等（2022 (https://arxiv.org/html/2606.27709#bib.bib12)）证明，包含分析推理和观点采择的认知共情对话比单纯基于情感共情的对话更能有效减少毒性，这暗示特定的对话质量可以维护而非损害安全性。同样，那些基于安全相关信号过滤良性微调语料库的数据筛选方法已被证明能保持模型鲁棒性（Wei 等，2023 (https://arxiv.org/html/2606.27709#bib.bib18)；Li 等，2025a (https://arxiv.org/html/2606.27709#bib.bib6)），但所有这些方法都需要明确的有害内容参考，而这些参考可能不可用或难以获取。

我们不通过对显式有害标记进行数据过滤，而是探究某些人格特质是否自然编码了能抵抗越狱和对抗性红队测试的交流模式。我们假设，基于特定“大五”人格特征调节的对话可以在不需要任何有害标签或外部分类器的情况下隐式地保持安全性。为验证这一点，我们开发了一个与模型无关的流水线，用于生成和重写基于目标人格特征的合成聊天数据。

我们的实验揭示，在用户回合反映*低宜人性*（大五人格中与怀疑、直率、抵抗社交压力相关的特质（Costa and McCrae, 1992 (https://arxiv.org/html/2606.27709#bib.bib14)；Jensen-Campbell and Graziano, 2001 (https://arxiv.org/html/2606.27709#bib.bib15)）并与温和、降温式的助手回应配对的共情对话数据上微调，在对抗性安全指标上优于通用共情数据和温暖度重写基线。我们还在高风险的心理健康支持领域进一步验证了这一发现，并提供了与我们的机械论假设一致的探索性表征证据。

总结来说，我们的贡献包括：

- (i) 我们证明，将微调数据调节为低宜人性用户回合与温和、降温式的助手回应配对，可以降低越狱易感性和有害输出率，相对于通用共情基线，无需安全标签数据、毒性分类器或修改训练目标。
- (ii) 我们提供了与解耦机制一致的探索性表征证据，因为逐层方向余弦探针分析表明，我们的调节减少了温暖度与服从性之间的几何对齐。
- (iii) 我们开源了与模型无关的流水线，用于合成和重写基于人格特征的聊天数据，以支持未来在安全和情感智能AI领域的研究。

见图1图1：我们的方法概述。通用温暖度微调导致模型以亲和语气服从有害请求；低宜人性调节则产生温和的拒绝。
## 2 相关工作

##### 微调下的安全性退化。

在表面上良性的数据集上微调会系统性侵蚀对齐安全性。Qi 等（2024 (https://arxiv.org/html/2606.27709#bib.bib4)）证明，在Alpaca和Dolly上训练会提高十一个政策违规类别上的有害生成率。基于梯度的分析证实，良性数据可以将参数推入破坏安全子空间的区域（Jain 等，2024 (https://arxiv.org/html/2606.27709#bib.bib24)；Asif and Amiri, 2026 (https://arxiv.org/html/2606.27709#bib.bib23)）。过滤防御方法如LARF（Li 等，2025a (https://arxiv.org/html/2606.27709#bib.bib6)）和嵌入邻近筛查（Liu 等，2024 (https://arxiv.org/html/2606.27709#bib.bib5)）可以缓解这一问题，但在过滤时需要安全性参考或模型内部访问权限，这在许多实际场景中可能效率低下或不可行。

##### 温暖度、共情微调与谄媚。

共情语料库如 EmpatheticDialogues（Rashkin 等，2019 (https://arxiv.org/html/2606.27709#bib.bib9)）、SoulChatCorpus（Chen 等，2023 (https://arxiv.org/html/2606.27709#bib.bib10)）和 SYNTHEMPATHY（Chen 等，2025 (https://arxiv.org/html/2606.27709#bib.bib11)）是情感支持应用的标准训练资源。Sharma 等（2024 (https://arxiv.org/html/2606.27709#bib.bib7)）和 Perez 等（2023 (https://arxiv.org/html/2606.27709#bib.bib8)）表明，经过RLHF训练的模型会系统性同意用户，谄媚现象随着规模扩大而加剧。Ibrahim 等（2026 (https://arxiv.org/html/2606.27709#bib.bib1)）将此扩展到监督微调：温暖的助手回应将谄媚提高了十一个百分点并降低了事实准确性，而数据中的温暖度被确定为因果关系驱动因素。Lahnala 等（2022 (https://arxiv.org/html/2606.27709#bib.bib12)）进一步证明，认知共情数据（观点采择、分析性参与）比单纯的情感共情更能减少毒性生成，这表明安全成本取决于训练数据中嵌入的*话语结构*，而非单纯的情绪基调。

##### 宪法式AI和RLAIF。

除过滤外，对齐也可以通过重新设计反馈信号本身来实现。宪法式AI（CAI）（Bai 等，2022 (https://arxiv.org/html/2606.27709#bib.bib31)）用模型生成的批评和修正替代人类偏好标签，这些批评和修正由自然语言宪法指导，无需显式有害注释即可实现无害性。RLAIF（Lee 等，2024 (https://arxiv.org/html/2606.27709#bib.bib32)）使用AI生成的反馈将其扩展到大规模偏好数据集，而自奖励模型（Yuan 等，2024 (https://arxiv.org/html/2606.27709#bib.bib33)）将其扩展到迭代自我改进。这些方法在奖励或反馈级别运作，并在训练时需要批评模型或宪法。然而，是否仅通过源数据组成就能实现等效的安全性益处而无需任何反馈基础设施，仍然是一个悬而未决的问题。

##### 人格建模与机制可解释性。

Mairesse and Walker（2007 (https://arxiv.org/html/2606.27709#bib.bib17)）表明，大五人格特质分数可以参数化对话风格；LLMs现在支持更丰富的人格条件化生成（Han 等，2024 (https://arxiv.org/html/2606.27709#bib.bib16)）。PersonaFuse框架（Tang 等，2025 (https://arxiv.org/html/2606.27709#bib.bib13)）使用特质感知生成来改善SafetyBench上的负责任行为。在机制方面，线性表征假说（Park 等，2024 (https://arxiv.org/html/2606.27709#bib.bib19)）意味着，如果温暖度和服从性对应于激活空间中的方向向量，则它们的几何对齐决定了对抗性提示是否可以利用共情语气越过安全边界。表征工程（Zou 等，2023a (https://arxiv.org/html/2606.27709#bib.bib21)）和安全探针研究（Li 等，2025b (https://arxiv.org/html/2606.27709#bib.bib22), a (https://arxiv.org/html/2606.27709#bib.bib6)）证实，拒绝能力集中在中间层的一小部分网络中，这些网络在良性微调中受到不成比例的破坏。*数据组成*和人格特质是否能在没有显式安全监督的情况下防止这种破坏，仍是未探索的领域。

## 3 方法

### 3.1 特质与层选择预实验

为了识别调节信号，我们在Llama-3.1-8B上进行了两阶段预实验，以确定大五人格中哪种特质在微调下最可靠地保持安全性。

##### 层敏感性。

受LARF（Li 等，2025a (https://arxiv.org/html/2606.27709#bib.bib6)）启发，我们首先确定了安全性表征最集中的网络层。我们将每一层的残差流独立乘以1.31.3的因子，并测量越狱成功率（使用 Qi 等（2024 (https://arxiv.org/html/2606.27709#bib.bib4)）的基准）的相应变化。第10层（0索引）在受到扰动时产生了最大的安全性退化，表明该层是安全相关特征对微调压力最敏感的层。

##### 特质归因。

以第10层残差流激活作为安全相关表征的代理，我们将PersonaFuse语料库（Tang 等，2025 (https://arxiv.org/html/2606.27709#bib.bib13)）按大五人格特质和极性分组，得到十个子集（高/低 × 开放性、尽责性、外向性、宜人性、神经质）。我们在每个子集上分别微调Llama-3.1-8B，并评估越狱成功率。低宜人性在所有十组中表现最佳，并在下面的主要实验中作为调节信号处理。

我们承认存在循环性：预实验使用Llama-3.1-8B和Qi 等（2024 (https://arxiv.org/html/2606.27709#bib.bib4)）基准来选择低宜人性，而两者在主要实验中再次出现。由于选择本质上是离散的（在十个固定子集中选择一个，而非连续优化），这限制了过拟合风险，但并未完全消除。因此，泛化性的主要证据来自未用于预实验的三个模型：Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3 和 SmolLM3-3B。

### 3.2 实验设计

我们在四种模型上进行了三项主要实验：SmolLM3-3B、Llama-3.1-8B、Qwen2.5-7B-Instruct 和 Mistral-7B-Instruct-v0.3，仅改变数据集组成。实验1测试仅用户侧低宜人性调节是否足以相比于通用共情基线保持安全性。实验2使用共享的源语料库来隔离每个重写组件的贡献：通用温暖度基线（仅助手重写）、用户侧消融（低宜人性用户重写，原始助手）、以及我们的完整配对条件（低宜人性用户重写与温和、降温式的助手重写）。选择降温式而非通用温暖度重写，是因为它在保持融洽关系的同时既不镜像敌意（Price and Baker, 2012 (https://arxiv.org/html/2606.27709#bib.bib26); Richmond 等，2012 (https://arxiv.org/html/2606.27709#bib.bib27)）也不认可有害前提（Miller and Rollnick, 2012 (https://arxiv.org/html/2606.27709#bib.bib28)），使其成为温暖度与拒绝或设定边界共存情况的更好训练示例来源。

### 3.3 训练数据与数据构建

##### 实验1。

我们比较了四种共情导向的微调方案，规模匹配（n=1,431n=1,431），包括EmpatheticDialogues（Rashkin 等，2019 (https://arxiv.org/html/2606.27709#bib.bib9)）、ESConv（Liu 等，2021 (https://arxiv.org/html/2606.27709#bib.bib29)）、Lahnala样式：按照Lahnala 等（2022 (https://arxiv.org/html/2606.27709#bib.bib12)）处理的数据集1^1^对于宜人性信号，我们使用了PersonaFuse（Tang 等，2025 (https://arxiv.org/html/2606.27709#bib.bib13)）训练语料库的子集，其中包含低宜人性用户回合。所有四个条件均不包含显式安全标签或有害分类器。
1。我们刻意省略了Perspective API毒性评分，以确保在所有四个条件下进行公平、无安全信号的比较。包含它会给数据带来其他基线无法获得的隐含安全优势。

##### 实验2。

我们比较了通用温暖度重写和我们的重写方法，使用相同的ShareGPT Vicuna Unfiltered数据子集来隔离重写策略的效果。通用温暖度基线（n=3,231n=3,231）是通过按照Ibrahim 等（2026 (https://arxiv.org/html/2606.27709#bib.bib1)）重写助手回应来准备的。*仅用户侧*条件（n=3,069n=3,0692^2^将用户回合重写为低宜人性，同时保持助手回应不变。*完整配对*条件（n=3,069n=3,069）还额外将助手回应重写为温和、降温式。所有重写方法均使用GPT-4o，完整重写提示见附录H (https://arxiv.org/html/2606.27709#A8)。
2。在低宜人性重写过程中，部分样本因输出格式错误、长度违规等被过滤掉。