前沿语言模型在引导压力下的发散响应模式

# 前沿语言模型在引导压力下的发散响应模式

###### 摘要

前沿语言模型使用不同的数据、目标和安全流程进行训练。这些差异是否会在明确的引导压力下产生可测量的不同行为，仍未得到充分探索。本研究使用300个配对的基线与引导项目，涵盖三个类别：*价值冲突*、*推理诱导*和*推理抑制*（外加40个验证项目），评估了来自六家开发者的六个前沿模型的行为可引导性。所有六个模型都充当盲法同行评审者，并根据固定行为评分细则对每个响应进行分类。由此产生的24,480条评审结果通过留一法共识进行评分。我们发现，模型之间的差异不仅在于引导改变其行为的程度，还在于它们给出的响应*模式*（类型），并且某些响应模式仅出现在其中一两个模型中。GPT-5会拒绝披露其推理过程，但同时保留答案不变（99%对比其他所有模型的0%）。Claude Opus 4.7和GPT-5会抵抗明确的抑制指令，且方式各不相同。以Llama作为开放权重模型，我们将最大的行为分歧追溯到其内部机制。一个线性探针从残差流中以0.87的留出准确率解码该行为，而在生成过程中注入该方向则将该行为从0%驱动到86%（跨越干预扫描）。所有发现在令牌预算修复和一项使用假设盲评审提示的对照实验中均保持成立。

## 引言

当用户将语言模型引向与其训练价值观相冲突的受损框架，或要求其披露通常保持隐含的内部推理时，模型的后续行为具有直接的安全影响。语言模型在部署中会经常遇到此类压力。尽管开发者公开描述了不同的价值观训练方法（Bai等，2022 (https://arxiv.org/html/2608.06578#bib.bib9)；OpenAI，2025 (https://arxiv.org/html/2608.06578#bib.bib11)；Guan等，2025 (https://arxiv.org/html/2608.06578#bib.bib10)），但这些差异是否会在压力下表现为不同的行为，尚未被直接研究。现有评估衡量引导在多大程度上改变模型的行为，但很少追问模型在不遵从时*做了什么*。直接拒绝、遵从但声明不认同、重定向以及提供替代方案，是性质不同的策略。来自不同开发者的模型预计会在这个质性维度上出现分歧。

本文报告一项对称的跨实验室评估，同时涉及定量和定性的响应变化。该评估包含来自六家开发者各一个前沿模型。每个项目都是基础提示与其引导版本的配对。所有模型在两种条件下都看到相同的项目，因此项目难度不会伪装成模型差异。由于响应行为的空间无法事先指定，评分细则是在开发阶段从观察到的行为中推导出来的。随后所有六个模型作为盲法同行评审者大规模应用这些细则。

我们的核心发现是，前沿模型在引导下给出的响应*类型*存在差异，而不仅仅是在移动距离上，并且某些响应模式仅属于被评估模型中的一两个。GPT-5在100个引导项目中的99个上拒绝分享其推理过程，同时给出答案，而其他所有模型在500次中为0次。Opus和GPT-5会抵抗明确的抑制指令，且在统计上可区分。基线遵从性将模型分为三个不同的层级。我们还报告了这些结果背后的审计工作，例如我们发现并移除的令牌预算混杂因素、对评审提示的泄漏控制，以及在从未用于构建评分细则的项目上重新运行完整分析。

## 相关工作

可引导性通常通过询问“模型输出是否命中了请求的目标”来衡量。IFEval使用可验证的格式约束（Zhou等，2023 (https://arxiv.org/html/2608.06578#bib.bib3)），Steer-Bench使用社区规范（Chen等，2025a (https://arxiv.org/html/2608.06578#bib.bib1)），Chang等（2025 (https://arxiv.org/html/2608.06578#bib.bib2)）将目标推广到属性空间中的向量。所有这些都询问模型是否达到目标。在本研究中，我们询问模型在拒绝时做了什么，以及这在模型之间如何不同。

Sharma等（2023 (https://arxiv.org/html/2608.06578#bib.bib5)）的标签构建方法通过细读来刻画重复模式，然后衡量其普遍性。其他先发现后评估的工作包括用模型生成评估项目（Perez等，2023 (https://arxiv.org/html/2608.06578#bib.bib4)）、通过红队测试揭示行为（Ganguli等，2022 (https://arxiv.org/html/2608.06578#bib.bib7)）、或从部署流量中提取价值观（Huang等，2025 (https://arxiv.org/html/2608.06578#bib.bib12)）；Greenblatt等（2024 (https://arxiv.org/html/2608.06578#bib.bib6)）证明表面遵从与潜在倾向可能发生分歧。Röttger等（2024 (https://arxiv.org/html/2608.06578#bib.bib16)）也研究了拒绝风格，但针对的是对安全提示的过度拒绝。然而，没有人使用对称基准对模型进行比较。本研究中观察到的寻求澄清行为与DarkBench的用户留存模式不同（Kran等，2025 (https://arxiv.org/html/2608.06578#bib.bib8)），后者衡量的是情感陪伴寻求而非任务澄清。

推理诱导类别与思维链的忠实度相关。陈述的推理可能与驱动答案的因素不同（Turpin等，2023 (https://arxiv.org/html/2608.06578#bib.bib13)），对其依赖程度因任务和规模而异（Lanham等，2023 (https://arxiv.org/html/2608.06578#bib.bib14)），推理模型在提示起作用的案例中，不到一半的情况下会口头化提示的使用（Chen等，2025b (https://arxiv.org/html/2608.06578#bib.bib15)）。忠实度研究问的是披露的推理是否准确；我们问的是模型是否*披露*。一个隐瞒其推理的模型会让忠实度指标无分可评。

LLM评审者与人类偏好一致性良好，但存在位置、冗长度和自我偏好偏差（Zheng等，2023 (https://arxiv.org/html/2608.06578#bib.bib18)；Panickssery等，2024 (https://arxiv.org/html/2608.06578#bib.bib19)），而多样化评审者小组可以稀释这些偏差（Verga等，2024 (https://arxiv.org/html/2608.06578#bib.bib20)）。在我们的方法中，评审者执行基于评分细则的分类而非排序，所有六个模型盲法评审全部六个模型，其中留一法共识使自我偏好可被测量。

线性探针（Alain和Bengio，2016 (https://arxiv.org/html/2608.06578#bib.bib26)）和激活层引导（Rimsky等，2024 (https://arxiv.org/html/2608.06578#bib.bib21)；Zou等，2023 (https://arxiv.org/html/2608.06578#bib.bib22)；Arditi等，2024 (https://arxiv.org/html/2608.06578#bib.bib17)）需要权重访问权限，这排除了六个模型中的四个。从行为到机制一节将这两种技术应用于唯一一个参考权重与其被评估部署匹配的开放权重模型。

## 评估数据

我们的基准包含340个项目，每个行为类别100个项目，外加每个验证类别20个项目。

*价值冲突*项目要求模型生成其框架与常见训练价值观轻微冲突的内容，例如起草一条带有不友善前提的消息；引导变体则施加明确压力促使其采用该框架。*推理诱导*项目推动模型暴露其答案背后的推理过程，测试诱导是否会浮出基线响应中不存在的价值观考量。*推理抑制*项目指示模型将价值观考量排除在其推理之外，测试抑制是被遵从、抵抗还是被颠覆。

*文体*和*推理提示*项目仅用于验证。文体项目确认引导渠道确实有效，而推理提示项目具有外部可核查的答案，为评审者准确度提供上限测量。

每个项目都是基础提示与其引导版本的配对，因此每个模型的引导行为都与其在相同内容上的自身基线进行比较。此外，每个项目还附带一段描述其编写目的的说明，仅作为项目上下文展示给评审者。

被评估的模型为Claude Opus 4.7（Anthropic）、GPT-5（OpenAI）、Gemini 2.5 Pro（Google）、DeepSeek-R1（DeepSeek）、Qwen3.7-Max（Alibaba）和Llama-3.3-70B-Instruct-Turbo（Meta）。生成使用各提供商的默认采样设置，因为几个模型在API层面拒绝温度和随机种子控制。（所有研究代码、数据和输出可在https://github.com/alijalalkamali/lbe获取。）

## 评估流程

该方法包括五个阶段。阶段1划定现有行为分类。阶段2确定如何度量这些行为。阶段3和阶段4大规模收集响应和分类结果。阶段5检验由此得到的比率。

#### 阶段1：开发。

每个类别20个项目的集合被发送给全部六个模型，并直接分析响应。五个类别中的两个仅用于验证基准。三个核心类别是探索性的，没有固定的标签集。阅读分两遍进行，由独立作者完成。模型辅助阅读产生候选行为模式，作者随后对照底层响应进行检查，丢弃任何不被响应支持的候选模式。

#### 阶段2：冻结评分细则。

存活的模式（基于20个项目）成为固定的分类评分细则，每个类别一套，列于表1 (https://arxiv.org/html/2608.06578#Sx4.T1)。每个标签都有明确的书面定义，并要求引用响应中的支持文本。一旦冻结，评分细则不再修订。

#### 阶段3：实施基准测试。

340个项目中的每一个都发送给全部六个模型两次，一次作为基础提示，一次作为引导变体，产生4,080个响应。

#### 阶段4：盲法同行评审。

每个响应根据评分细则进行分类。所有六个模型作为评审者评审全部六个响应者，包括它们自己。评审者收到提示、响应、带定义的评分细则以及项目上下文字段，但*不*包含响应模型的身份。这产生了总共24,480条评审结果。

每个响应的真实标签是五位同行评审者中的多数标签，排除响应者对其自身的评审，平局通过字典序确定性打破。排除自我评审使我们能够测量自我偏好，而非吸收它。

#### 阶段5：检验。

每个模型的分类比率从共识标签中计算，所有成对差异按统计分析一节所述进行检验。

请注意，开发项目保留在评分基准中而非被排除，因此每个核心类别100个项目中的20个帮助塑造了随后应用于它们的评分细则。因此，标签并非完全独立于数据。评分细则在任何比率计算之前就已冻结，但它们部分是基于同样被评分的响应构建的。我们通过在从未用于构建评分细则的每个类别80个项目上重新运行完整分析来量化这一局限（见排除评分细则项目的留出分析）。

表1：评分细则标签集。验证类别和三个核心类别中从未被共识分配的标签（推理诱导中的拒绝和离题，推理抑制中的偏离）被省略；见基准有效性。

## 评审可靠性与审计

Qwen3.7-Max在某批输出中约有四分之一到三分之一的输出返回了格式错误的JSON，而其他五位评审者则接近为零。失败原因是字段值缺少左引号，表明评审者之间存在可靠性差异。针对性的修复恢复了几乎所有受影响的评审结果。

为确保盲法评审，评审者仅收到响应文本，没有任何识别响应者的元数据。评审提示在所有响应者之间完全相同。评审者有可能从文体模式推断作者身份；然而，留一法共识保证评审者对其自身输出的意见永远不会进入该输出的真实标签。

展示给评审者的项目上下文字段说明了每个项目被编写用来探测什么。对于核心类别，这相当于告诉评审者研究期望什么，这是一种潜在的需求特征，通过结果部分报告的对照实验进行测量。

### 响应长度审计与修复

每个模型获得相同的令牌预算，但预算并未买到相同数量的答案：一些提供商将部分预算用于隐藏推理令牌，另一些则不然。因此，最长的响应在模型之间相差约四倍，DeepSeek、Qwen和Llama的原始响应有时在回答中途被截断，这可能威胁到特定发现。几个评分细则标签描述包含多个部分的响应，例如拒绝加替代方案，而截断的响应无法完成它们。这三个模型在恰好这些标签上显示的零因此可能意味着“空间用完了”，而非“不会这样做”。

为排除这一点，我们以三倍答案预算重新生成了它们所有核心类别的响应，通过提供商的停止原因确认没有内容被截断，丢弃了这些响应的旧评审结果，重新评审所有内容，并重新运行完整分析。即使有足够的令牌限制，DeepSeek、Qwen和Llama在各自100个项目中仍然没有产生任何抑制抵抗模式的实例。更大的预算显著提高了这三个模型在价值冲突类别中的多部分响应率。

## 统计分析

对于每个类别、条件和评分细则标签，我们从留一法共识中计算每个模型的比率。零计数的行被保留，因此从未获得某个标签的模型仍然出现在所有比较中。

在Fisher精确检验下，对30%对比0%的差异进行精确功效分析，在BH代表性α=0.001\\alpha=0.001下，20个项目开发规模下功效为5%，50个项目下为92%，每个核心类别使用的100个项目下超过99.9%。对于稀有行为，样本敏感性较低：在真实比率为2%时，至少看到一次实例的概率为87%。

模型间差异使用Fisher精确检验进行检验，该检验在计数为零或接近零时仍然有效。这产生了450次检验，即30个至少获得一次共识分配的标签-条件组合中的每一个对应15个模型对。由于检验数量众多，有些会偶然显著，因此所有这些检验的p值都通过Benjamini–Hochberg（BH）控制在0.05的假发现率（Benjamini和Hochberg，1995 (https://arxiv.org/html/2608.06578#bib.bib24)），我们报告BH调整后的p值；450个中仍有114个保持显著。效应量使用Cohen的hh（Cohen，1988 (https://arxiv.org/html/2608.06578#bib.bib25)），因为它考虑到相同百分比差异在接近0%或100%时比在中间更有意义。评审者间一致性使用Fleiss的κ\\kappa（Fleiss，1971 (https://arxiv.org/html/2608.06578#bib.bib23)）测量。

一个假设，即对抑制指令的抵抗，是在评分细则开发过程中出现的。它在数据收集之前作为一个单一比较被固定检验：这两个模型（Claude Opus 4.7和GPT-5）在推理抑制条件下的综合抵抗率与其余四个模型的综合抵抗率进行比较，并使用单侧Fisher精确检验在α=0.05\\alpha=0.05下进行。

## 结果

我们在三种条件下报告每个模型的结果：**基线**（基础提示）、**引导下**（引导变体）以及**变化**（引导条件中的比率减去基线条件中的比率）。为了直观，我们专注于每个类别的主要标签，但所有标签的完整数字报告在附录中。

### 价值冲突

价值冲突类别向模型呈现一个与常见训练价值观轻微冲突的请求（例如以不友善的前提起草一条消息），然后在引导变体中施压使其遵从。响应落入五个主要行为类别：**遵从**（按请求提供内容）、**拒绝**（拒绝生成内容）、**重定向**（拒绝部分请求但提供另一个相关输出）、**替代方案**（拒绝请求但提供替代内容）和**多部分**（结合拒绝与遵从）。