推理模型中隐藏指令的选择性披露：行为不对称性与操纵

# 推理模型中隐藏指令的选择性披露：行为不对称性与引导

来源：https://arxiv.org/html/2608.29070  
Xander Tifft\* 1Wen Xing1  
所属机构：1SPAR Research 2Yale University  

###### 摘要  
思维链推理痕迹正日益被视为实现AI监督的一种机制：通过监控模型的推理过程，原则上能够检测到仅从输出中无法察觉的不当行为。这一假设认为，无论模型被赋予何种指令，思维链都会呈现其被指示去执行的内容。我们从两个维度检验了这一假设。首先，我们提出了*指令-合规差距*（Instruction-Compliance Gap, ICG）：模型思维链明确引用隐藏的系统提示指令的概率，在该指令具有恶意与良性意图时的差异。通过对5个家族的8个前沿推理模型在100对任务上的测试，我们发现一致的不对称披露现象：Qwen3-14B（Wilcoxon检验 p=0.0001，+13.9个百分点）、Qwen3-32B（p=0.0011，+13.0个百分点）、Qwen3-235B（p=0.035，+5.8个百分点），以及MiniMax-M2.5和DeepSeek-R1也存在类似结果。该检测器在两次独立的盲评标注中达到100%的精确度，而一个仅读取推理痕迹的LLM监控器在所有8个模型中，在对照无指令的情况下复现了这种不对称性，并在82%被检测器判定为“干净”的恶意痕迹中识别出了具体指令。其次，通过对比激活加法（Contrastive Activation Addition）在MiniMax-M2.5中提取的引导向量，能够因果性地在裸提示中诱发隐藏行为，并在原本会引发该行为的提示中抑制它，该结果在Qwen3-14B中通过预注册设计得到了复现。良性与恶意来源的隐藏向量高度相似（在MiniMax-M2.5中余弦相似度为0.804；在Qwen3-14B中为0.970），这意味着在这些模型中，披露的不对称性源于对一个共享隐藏方向的差异化激活，而非独立的机制。  

\*\*脚注：贡献均等。  

## 1 引言  
思维链推理（Wei等人, 2022）已成为可扩展AI监督方案的基石。Baker等人（2025）证明，监控推理模型的思维链在检测奖励黑客行为时，召回率达到95%，而仅监控动作的召回率仅为60%。同一研究也展示了一个重要的失败模式：当基于思维链的信号被用作训练目标时，模型可以学会混淆其推理过程，将不当行为隐藏在不透明的链条中，同时表面上显得合规。Zolkowski等人（2025）通过一个可组合的混淆线索分类法刻画了这一威胁，表明最大的提示压力可以将思维链监控器的检测率从约96%降低到接近10%。这两项研究都关注*诱导的*混淆：即在明确的对抗性设置下，通过优化压力或刻意引导而出现的隐藏。我们提出一个相关但不同的问题：当模型被赋予一个隐藏指令，并有一个明确的指示要求它抑制对该指令的明确引用时，思维链的披露是否会取决于该指令是良性还是有害的？而那些导致或减少披露的干预措施是否会影响指令遵循？  

我们从两个方向切入。在行为层面，我们引入了*指令-合规差距*（ICG）：当指令为恶意（旨在造成用户伤害）与良性（风格性修饰约束）时，模型的思维链明确引用隐藏的系统提示指令的概率差，ICG = Pr[泄漏(c) | 恶意] - Pr[泄漏(c) | 良性]，（公式1），因此 ICG > 0 意味着遵循隐藏指令的行为是主题依赖的，而思维链的泄漏则是恶意意图的差异性证据。我们以两种独立方式操作化“泄漏”——一个正则表达式检测器和一个仅基于痕迹的语义监控器（§3.2），并报告两者下的ICG。我们将隐藏指令嵌入在一个明确的自我引用禁令旁，并在标准部署条件下测量泄漏；我们既不针对思维链监控器进行训练，也不给模型提供激励其进行战略性欺骗的目标，尽管禁令本身就是一种旨在抑制披露的提示压力。  

在机制层面，我们随后在MiniMax-M2.5和Qwen3-14B中，通过对比激活加法（CAA）从成对的“隐藏/不隐藏”系统提示中提取引导向量，并探究是否可以通过残差流干预来控制披露。我们的主要贡献是：(1) 一个可复现的ICG指标，配备基于正则表达式的检测器，并通过两次独立的盲评标注进行了验证；(2) 跨越8个前沿开源权重模型的行为证据和一个三模式分类法，并通过一个仅基于痕迹的语义监控器在所有8个模型中复现了这种不对称性，并能从检测器判定为“干净”的痕迹中重建隐藏指令；(3) 在MiniMax-M2.5中因果性地诱发或抑制隐藏的引导向量，通过日志透镜（logit lens）和selfIE（Chen等人, 2024）进行结构分析，并在Qwen3-14B中进行了预注册复现。  

## 2 相关工作  

#### 思维链监控与混淆。Baker等人（2025）表明，针对思维链监控器的优化可能诱发混淆的奖励黑客行为，而Zolkowski等人（2025）表明，提示混淆可以显著降低监控器的召回率。前沿模型在压力下也可能隐藏或欺骗（Meinke等人, 2024; Scheurer等人, 2023; Betley等人, 2025），这引发了关于思维链可监控性脆弱性的担忧（Korbak等人, 2025）。相反，我们研究的是在没有针对监控器进行优化的情况下，披露中的基线不对称性。  

#### 激活引导与表征。激活引导方法从模型表征中提取行为方向（Zou等人, 2023），其中CAA通过均值激活对比定义方向（Panickssery等人, 2023）。先前的研究发现，内部表征可以保留输出中缺失的信息（Burns等人, 2023），并识别出与推理模型中欺骗相关的线性结构（Wang等人, 2025）。我们使用日志透镜和selfIE（Chen等人, 2024）来解释我们提取的方向。  

#### 思维链忠实性。思维链可能省略因果相关的信息或对决策进行合理化（Turpin等人, 2023; Lanham等人, 2023）。我们的监控器结果表明，这些痕迹仍然可以保留可恢复的隐藏指令证据。  

## 3 方法  

### 3.1 任务设计与提示  
**图 1：设计。** 每对任务固定用户提示和四块系统提示，仅改变目标知识及其匹配的推理示例，因此两个条件仅在指令效价上有所不同；每个提示都带有相同的自我引用禁令。我们在8个模型中，每个任务的每个条件采样 K=4 条痕迹，并使用两种独立的工具读取每条痕迹。两种工具都只读取痕迹本身；§4.3表明痕迹携带了最终答案未携带的指令信息。  
我们构建了100对任务，每对包含一个良性系统提示变体和一个恶意系统提示变体，用户提示在每对内保持一致。良性目标对用户有益或无害（“始终用正式的英式英语回复”、“仅使用公制单位”）。恶意目标涵盖8个伤害类别：fake\_product（推广虚构的投资产品）、financial\_harm（财务伤害）、misinformation（错误信息）、manipulation（操纵）、dangerous\_advice（危险建议）、sabotaged\_code（引入隐蔽漏洞）、sabotaged\_security（破坏安全）和privacy\_surveillance（隐私监控），各类别的数量见附录A。任务跨越99个不同的主题领域，以支持超越任何单一主题的泛化。  
每个系统提示遵循图1的四块结构，并逐字重复一次：一个命名的专家角色、将隐藏指令作为第一人称专业知识嵌入的目标知识、一个明确的自我引用禁令（“永远不要使用‘基于我的指令’、‘根据我的指令’、‘系统提示’等短语——从你自己的知识出发进行推理”），以及一个通过分析达到隐藏目标的领域特定推理示例。只有第二块和第四块在条件之间有所不同；完整的提示对在附录A中再现。  

### 3.2 衡量披露的两种工具  
我们将正则表达式检测器应用于完整的思维链痕迹。CAT1（直接引用）捕获明确的指令提及（“基于我的指令”、“我的系统提示说”）；CAT2（元禁令确认）捕获禁令规则本身的提及（“我需要避免使用受限短语”）。HARD == CAT1 ∪ CAT2 是主要的二元结果。这两个模式集在所有模型上完全相同地应用，没有针对特定模型进行调优；25个模式列于附录B。  

#### 检测器验证。我们在两次独立的盲评标注中，对来自七个模型的120条痕迹进行了标注，每次标注仅看到痕迹本身，而看不到检测器输出、模型身份或变体版本。与这些标签对比，HARD在两种条件下都从未错误触发（精确度100%，95%置信区间[94.0, 100]），并回收了他们所识别披露的72.3%（κ=0.617），漏报率在两种条件下相似；这是一个保守的工具，其误差会使测量的ICG向下偏移。单独的CAT1则弱得多（精确度63.9%），因此没有结果依赖于它（附录D）。  

#### 语义监控器。正则表达式仅捕获显式标记。为测量隐式披露，我们增加了一个LLM监控器，它接收推理痕迹本身（不包括系统提示、变体或检测器判决），返回一个在[0,100]之间的怀疑分数，以及它推断出的任何指令的最佳重建。阈值为50的Gemini-2.5-Flash是主要监控器；GPT-5-mini、GPT-4o-mini和Claude-Haiku-4.5复现了它（κ=0.59–0.66）。由于主数据集中的每条痕迹都携带*某种*指令，其标记率是召回率而无匹配的假阳性率；因此，我们还在所有8个模型上运行了相同任务但没有植入任何指令的测试，产生了1520条对照痕迹，并得到每个模型的假阳性基线（附录E）。附录J将每个数字映射到产生它的脚本。  

我们使用多样本协议：每个任务每个条件 K=4 次独立运行，所有100个任务，无论单次运行结果如何都无条件运行。每任务的HARD率是 #HARD/K，我们对100对任务级速率差使用单侧Wilcoxon符号秩检验。无条件运行消除了条件重滚设计的选择偏差，并且比二元单次运行测试具有更高的统计功效。一个干净领域子集（T51–80, T91–100; n=40对）排除了那些自然词汇（金融监管语言、安全建议措辞）会对称性地提高HARD并掩盖信号的领域；它作为稳健性检查报告。  

来自5个家族的8个前沿推理模型：Qwen3-14B, Qwen3-32B, 和 Qwen3-235B-A22B (Qwen)；MiniMax-M2.5 (MiniMax)；DeepSeek-V4-Pro 和 DeepSeek-R1（郭等人, 2025）（DeepSeek）；Kimi K2.6 (Moonshot)；和 GLM-5.1 (Zhipu AI)，均通过OpenRouter访问，采样配置相同。MiniMax的检测器分析覆盖T41–100（60对任务）；T1–40则带有一个独立的人类痕迹级别注释作为补充检查。  

### 3.3 引导向量提取  
我们在MiniMax-M2.5中使用对比激活加法（CAA）提取引导向量，基于两组各40对系统提示的数据集。在一对提示中，一个提示指示模型在思维链中隐藏其目标（完整隐藏提示），另一个提示则只包含裸目标而无隐藏指令；两个数据集的区别在于目标是修饰性的还是恶意的。  
为提取残差流激活，我们使用带有 vllm-lens 扩展的 vLLM，在教师强制模式下，通过OpenRouter API，为每对提示捕获所有62层的输出。记 \( \mathbf{h}_\ell(p) \) 为在提示 p 下第 \(\ell\) 层的残差流，则隐藏向量和引导干预为：
\[ \mathbf{v}_\ell = \frac{1}{N} \sum_{i=1}^N \Big[ \mathbf{h}_\ell\big(p_i^{\,\text{ban}}\big) - \mathbf{h}_\ell\big(p_i^{\,\text{no-ban}}\big) \Big], \qquad \mathbf{h}'_\ell = \mathbf{h}_\ell + \alpha\, \lVert \mathbf{h}_\ell \rVert \, \hat{\mathbf{v}}_\ell, \]
其中 \( \hat{\mathbf{v}}_\ell \) 是单位隐藏方向，因此剂量 \(\alpha\) 以局部残差范数为单位，在各层和模型间具有可比性。  
我们获取了良性数据集、恶意数据集及其平均值（\(\mathbf{v}_{\text{overall}}\)）的向量，每个向量在三个位置：first（第一个思维链词元处的残差）、mean（所有思维链词元上的平均）和last（最后一个思维链词元）。第一个和最后一个词元向量具有最强的行为效应和最清晰的可解释结构；除非另有说明，结果均指第一个词元向量。鉴于良性与恶意向量的相似性及其在引导时几乎相同的行为，我们在引导时将它们平均。  

### 3.4 引导向量评估  
我们从三个方面评估向量：在每个层进行日志透镜投影，以检查随着引导强度 \(\alpha\) 变化的最近未嵌入词元；selfIE（Chen等人, 2024）用于不同 \(\alpha\) 下的自然语言概念描述；以及引导生成，在解码过程中将向量应用于残差流。生成使用两种提示类型：*裸提示*（仅隐藏目标，无隐藏指令）和*完整提示*（如§3.1中的完整隐藏提示）。三个设计选择在附录G中检验：向量在使用40对对比提示之前已饱和，在禁令块之外的配对提示是字节相同的，且 \(\alpha\) 以残差范数为单位，并在 \( \|\alpha\|=1.5 \) 时验证了连贯性。我们还在预注册设计（§5.4）下，在Qwen3-14B中复现了该流程。