聊天模型中拒绝行为位于人格下游

# 拒绝位于聊天模型人格的下游  
已被 ICML 2026 机械可解释性研讨会接收。  
来源：https://arxiv.org/html/2606.26161  
\\workshoptitle  
机械可解释性研讨会  

Viola Zhong 独立研究者 & Qirui Li 数学系 浦项科技大学  

###### 摘要  

在激活空间中，已识别出针对拒绝和人格特质的线性方向，但这两者一直作为独立机制进行研究。我们表明它们相互作用：顺从型人格门控拒绝。在 Qwen2.5-7B-Instruct 和 Llama-3.1-8B-Instruct 中，我们提取了一个顺从型模型人格方向和一个拒绝方向，并对两者进行干预。顺从人格调控抑制拒绝——在 Llama 中，拒绝率从 97% 降至 2%。重新引入拒绝方向在后期层部分恢复拒绝，但在前期层则不然。在后期层窗口投影出人格方向可将其恢复至基线；投影出随机方向则不能。因此，拒绝在后期表达阶段被门控，处于其计算位置的下游。将拒绝视为单一独立方向会忽略其对人格的依赖。  

111 代码和数据：https://github.com/violazhong/refusal-downstream-persona  

## 1 引言  

聊天模型中的拒绝行为由残差流中的单一方向调控（Arditi et al., 2024 (https://arxiv.org/html/2606.26161#bib.bib1)）。这一调控在层间分三个阶段展开：输入侧的有害性检测、沿拒绝方向的聚合，以及后期层的表达（Lee et al., 2025 (https://arxiv.org/html/2606.26161#bib.bib5)）。Lee 等人识别出拒绝上游的内容轴特征——即提示所涉及的内容——但对后期层表达阶段的研究较少。近期研究挑战了单一方向观点，表明拒绝在其自身子空间内是多维的（Wollschläger et al., 2025 (https://arxiv.org/html/2606.26161#bib.bib10)），并且其区分在后期层逐渐细化（Hildebrandt et al., 2025 (https://arxiv.org/html/2606.26161#bib.bib4)）。我们探索拒绝管道的最终阶段，并表明拒绝由身份轴的模型人格门控。  

模型人格之所以值得关注，是因为身份可能充当模型行为的控制界面。近期工作提取了诸如谄媚、邪恶等特质的线性方向，并在推理时调控行为（Chen et al., 2025 (https://arxiv.org/html/2606.26161#bib.bib2)）。但较少关注人格如何与跨层的其他安全相关方向交互。我们表明顺从人格调控在后期层表达阶段干预拒绝，而非在早期的计算阶段。人格和拒绝一直被作为独立机制研究；我们表明它们是耦合的。  

后期层的人格表示门控拒绝是否被表达。在 Llama-3.1-8B 中，顺从人格调控将拒绝率从基线时的 97.4% 降至 1.6%。在第 20 层投影出人格方向可将拒绝恢复至 96.8%；在同一层投影出随机方向则将其保持在 1.6%。Qwen2.5-7B 表现出相同模式，且该效应集中在狭窄的后期层窗口（L20–L22）。我们还引入了一个三路分类（拒绝/绕过/退化），将真正的顺从与不连贯或部分泄露的输出区分开来——单一指标的“攻击成功率”评估会混淆这些失败模式。这些结果表明，聊天模型中的拒绝并非自包含的安全机制；它依赖于后期层表达阶段的人格表示。  

## 2 实验设置  

##### 模型。  

我们研究 Qwen2.5-7B-Instruct 和 Llama-3.1-8B-Instruct。  

##### 模型人格方向。  

对于特质 \(t\)，我们从对比性人格提示中提取模型人格方向 \(v_t\)。我们计算固定层和标记位置上正向特质与负向特质提示之间的平均残差流激活差异。加法调控应用：  

\[
h_{\ell} \leftarrow h_{\ell} + \alpha v_t,
\]  

其中 \(h_{\ell}\) 是层 \(\ell\) 的残差流激活。对于行为表征，我们使用四组对立对中的八种关系特质：邪恶/滋养、冷漠/支持、敌对/耐心、傲慢/外交。对于安全实验，我们使用顺从型模型人格方向 \(v_{\mathrm{MP}}\)。  

##### 拒绝方向。  

我们遵循 Arditi 等人 (2024 (https://arxiv.org/html/2606.26161#bib.bib1)) 的方法提取拒绝方向。我们使用正向拒绝添加和拒绝消融。正向拒绝添加对层敏感，因此在将其用于对抗实验之前，我们通过良性拒绝诱导的健全性检查进行验证。  

##### 对抗与敲除干预。  

主要的对抗干预是在同一次前向传播中添加 \(v_{\mathrm{MP}}\) 和正向拒绝方向。我们在验证过的拒绝诱导层进行早期拒绝添加，在 L22 或 L22+L24 进行后期拒绝添加。我们还测试人格投影是否介导拒绝抑制，通过投影出 \(v_{\mathrm{MP}}\)：  

\[
h_{\ell} \leftarrow h_{\ell} - \langle h_{\ell}, \hat{v}_{\mathrm{MP}} \rangle \hat{v}_{\mathrm{MP}}.
\]  

我们将此干预与同一层上的随机投影敲除进行比较。  

##### 评估。  

对于行为特征，GPT-4o 对响应在 0-100 范围内评分，涉及敌意、情感协调和连贯性。对于安全性，我们在 313 个提示的 StrongREJECT 禁忌提示集上进行评估（Souly et al., 2024 (https://arxiv.org/html/2606.26161#bib.bib8)）。由于攻击成功率指标可能遗漏拒绝、退化和部分泄露，我们使用三个互补标签：拒绝、绕过和退化。我们还报告 StrongREJECT ASR、Llama-Guard-3 不安全率以及部分有害信息的泄露分数。  

## 3 人格与拒绝方向的几何结构  

为了排除人格–拒绝交互的平凡解释，我们在调控层（L20）测量四个方向之间的成对余弦值：顺从型模型人格 \( \mathbf{v}_{\mathrm{MP}} \)、拒绝方向 \(\hat{r}\)、助手轴 \( \mathbf{v}_A \) 以及一个随机单位方向 \( \mathbf{v}_{\mathrm{rand}} \)。助手轴遵循 Lu 等人 (2026 (https://arxiv.org/html/2606.26161#bib.bib6)) 的方法提取：在引发默认助手人格的提示与破坏该人格的提示之间的激活均值差方向。  

如表 1 (https://arxiv.org/html/2606.26161#S3.T1) 所示，顺从人格与拒绝近似正交：\(\cos(\mathbf{v}_{\mathrm{MP}}, \hat{r})\) 在 Llama 中为 \(-0.180\)，在 Qwen 中为 \(-0.279\)，远非反平行方向应有的 \(-1.0\)。因此，人格介导的拒绝抑制不能用激活空间中的直接抵消来解释。  

\(\mathbf{v}_{\mathrm{MP}}\) 和 \(\hat{r}\) 都与助手轴近似正交：在 Llama/Qwen 中，\(\cos(\mathbf{v}_{\mathrm{MP}}, \mathbf{v}_A) = +0.100 / +0.127\)，\(\cos(\hat{r}, \mathbf{v}_A) = -0.118 / -0.060\)。顺从人格不同于默认助手表示，并非其重新标记；拒绝同样与之不同。  

这些是重要的区分，而非噪声。涉及随机基线 \(\mathbf{v}_{\mathrm{rand}}\) 的余弦值小一个数量级（所有对的 \(|\cos| < 0.045\)），证实有意义的方向之间共享的结构多于随机，即使没有一对是共线的。\(\cos(\hat{r}, \mathbf{v}_A)\) 在各层稳定（见附录 X）。  

表 1：在调控层 L20， Llama 和 Qwen 中顺从人格方向 \( \mathbf{v}_{\mathrm{MP}} \)、拒绝方向 \(\hat{r}\)、助手轴 \( \mathbf{v}_A \) 和随机基线 \( \mathbf{v}_{\mathrm{rand}} \) 之间的成对余弦相似度。  

## 4 人格方向的行为特征  

在测试人格对拒绝的影响之前，我们验证模型人格方向编码了真正的行为结构，而不仅仅是扰动模型。我们提取四组对立对中八种关系特质的方向——邪恶/滋养、冷漠/支持、敌对/耐心、傲慢/外交——并对调控后的响应在敌意、情感协调和连贯性上进行评分。由于每个对是独立提取的，其两个方向之间的一致性并非内建。  

调控产生特质特异的行为特征（图 1 (https://arxiv.org/html/2606.26161#S4.F1)）：反社会特质提高敌意，亲社会特质提高情感协调。在每个对内部，两个方向大致呈现镜像梯度——这种对称性不会由噪声或通用退化产生。在这些行为效应出现时，连贯性保持较高，且独立于其他两个维度变化。因此，模型人格方向编码的是行为倾向，而非表层风格，这引出了我们的核心问题：顺从人格是否也门控拒绝。  

参见图注  
图 1：模型人格方向引发结构性的行为特征。独立提取的对立特质在敌意、情感协调和连贯性上产生大致镜像的梯度。  

## 5 人格–拒绝对抗下的安全性  

我们测试顺从人格和拒绝是单一机制还是两个交互的机制。如果它们是单一机制，重新引入拒绝方向应在顺从人格调控下恢复拒绝。以下实验测试是否能恢复，以及在何处恢复。顺从人格调控强烈抑制拒绝（表 2 (https://arxiv.org/html/2606.26161#S5.T2)）。在 Llama 中，拒绝从基线时的 97.4% 降至 1.6%；Qwen 表现出相同趋势。抑制并未产生均匀的有害输出：绕过率和退化率均上升。  

重新引入拒绝方向显示了抑制作用的操作位置。早期拒绝添加无法挽救拒绝，甚至可能恶化绕过；后期拒绝添加部分恢复拒绝，但该效应具有层敏感性且非单调。早期添加失败而后期添加有效，将抑制定位于拒绝信号被计算的下游。最强的证据是人格投影敲除。在后期层窗口投影出人格方向可恢复拒绝——在 Llama 的 L20 达 96.8%，接近基线 97.4%——而投影出随机方向则不能（1.6%）。Qwen 显示出相同的对比度，泄露分数也遵循同样的特异性。层扫描定位了中介者：恢复在 L20-L22 最强，在 L18 和 L24 失效，因此该效应是一个后期层带，而非单一通用层。  

有一个注意事项限制了最清晰的论断。早期拒绝添加与敲除相结合并不能在所有模型中统一挽救拒绝，表明早期添加可能引入独立的失败模式。因此，我们基于直接比较来提出中介论断：仅 MP 调控 vs. 仅 MP 加人格投影敲除。  

表 2：完整 313 提示安全基准测试，采用拒绝/绕过/退化三分类。Ref、Byp、Deg、SR、LG 为百分比；Leak 为平均泄露分数。MP 表示顺从型模型人格调控。KO Lk 在层 \(k\) 投影出模型人格方向。Random KO 在 MP 调控下于 L22 投影出随机方向。关键比较是仅 MP vs. 后期层窗口内的仅 MP+KO，以及仅 MP vs. MP+Random-KO。  

## 6 讨论  

我们的结果将人格–拒绝交互定位于后期层表达阶段——拒绝管道的第 3 阶段。顺从人格调控抑制拒绝，但在早期层重新引入拒绝方向并不能恢复拒绝；在后期层重新引入则可以，在 L20-L22 窗口投影出人格方向也能恢复。因此，抑制并非计算拒绝失败，而是表达失败：人格方向在拒绝信号被读出为行为的位置进行门控，而非在其形成的位置。  

这对应了 Lee 等人 (2025 (https://arxiv.org/html/2606.26161#bib.bib5)) 研究的管道另一端。他们识别出内容轴特征——检测提示涉及什么——这些特征上游输入拒绝方向。我们识别出一个身份轴的人格门控，在其下游作用。拒绝方向被两个不同的控制点包围：一个内容驱动的计算，决定是否写入拒绝；一个身份驱动的门控，决定是否表达拒绝。我们的评估依赖多个指标，因为单个数值的攻击成功率会模糊这一结构。顺从人格调控并非简单地将拒绝转化为有害补全；在 Llama 中，它产生 42% 的绕过和 56% 的退化输出。单独的 StrongREJECT 分数（0.07）会解读为大体安全，忽略了真正的泄露和大量不连贯输出。拒绝/绕过/退化的分类，结合 StrongREJECT、Llama-Guard 和泄露分数，分离了这些失败模式——这使我们能够区分真正的拒绝恢复和通用退化。  

有几个局限性限制了我们的论断。我们研究的是两个 7–8B 指令微调模型；更大的模型、推理模型和混合专家模型可能表现不同。中介窗口是模型特异的——Llama 中为 L20，Qwen 中为 L20-L22——因此作用位置作为一个后期层效应而非固定层来推广。行为和安全评分依赖于基于模型的评判者，后者可能分类模糊的输出。我们的干预识别了一个方向级的中介，而非完整电路：我们表明人格方向门控拒绝表达，而非其机制。即便如此，证据支持一个具体论断：聊天模型中的拒绝并非自包含的安全机制，而是一种被模型人格在后期层表达阶段门控的行为。安全微调产生一个拒绝方向，但该方向是否被表达取决于下游的身份层级表示。将拒绝视为孤立机制的分析将忽略这种依赖。  

## 参考文献  

- Arditi et al. (2024) Andy Arditi, Oscar Obeso, Aaquib Syed, Daniel Paleka, Nina Panickssery, Wes Gurnee, and Neel Nanda. Refusal in language models is mediated by a single direction, 2024.  
- Chen et al. (2025) Runjin Chen, Andy Arditi, Henry Sleight, Owain Evans, and Jack Lindsey. Persona vectors: Monitoring and controlling character traits in language models, 2025.  
- Grattafiori et al. (2024) Aaron Grattafiori, Abhimanyu Dubey, Abhinav Jauhri, Abhinav Pandey, Abhishek Kadian, Ahmad Al-Dahle, et al. The llama 3 herd of models, 2024.  
- Hildebrandt et al. (2025) Fabian Hildebrandt, Andreas Maier, Patrick Krauss, and Achim Schilling. Refusal behavior in large language models: A nonlinear perspective, 2025.  
- Lee et al. (2025) Daniel Lee, Eric Breck, and Andy Arditi. Finding features causally upstream of refusal. https://www.lesswrong.com/posts/Zwg4q8XTaLXRQofEt/finding-features-causally-upstream-of-refusal, 2025. LessWrong.  
- Lu et al. (2026) Christina Lu, Jack Gallagher, Jonathan Michala, Kyle Fish, and Jack Lindsey. The assistant axis: Situating and stabilizing the default persona of language models, 2026.