推理时指令层次控制

# 在推理时引导指令层次结构
来源：https://arxiv.org/html/2607.26228

Siqi Zeng\*，Sewoong Lee，Han Zhao 和 Julia Hockenmaier
Siebel School of Computing and Data Science
University of Illinois, Urbana\-Champaign
Urbana, IL 61801, USA
\{siqi6,samuel27,hanzhao,juliahmr\}@illinois\.edu

###### 摘要

指令层次结构是语言模型部署的一个核心安全假设：优先级较高的输入（如系统提示）应覆盖来自用户或工具的冲突的低优先级输入。然而，前沿LLM往往违反这一层次结构。我们提出V\-Steer，一种免训练的推理时方法，通过编辑提示位置处的缓存值向量来恢复特权影响。利用对第一个下一个令牌预测的直接logit归因，V\-Steer识别出低优先级跨度主导高优先级跨度的注意力头，然后通过对缓存的V张量进行原地乘法编辑来提升高优先级跨度并抑制冲突的低优先级跨度。由于该方法仅作用于缓存的值，因此它与融合注意力后端兼容，并且只增加一次预填充开销。在7B到70B的模型上，这种基于归因的干预在受控角色冲突基准上将主要约束准确率从低于18%提升至高达92%，并在更广泛的指令层次评估中显著优于仅提示基线，同时在LLM的4个规模中的3个上匹配或超越基于SoTA训练的方法，解码速度开销可忽略不计。代码可在[https://github.com/cindy2000sh/v-steer](https://github.com/cindy2000sh/v-steer)获取。

## 1 引言

指令层次结构（IH）是现代大型语言模型（LLM）系统旨在保持可控性的核心机制之一。在部署应用中，更高优先级的输入（如系统或开发者消息）用于指定行为策略、安全约束和任务边界，而较低优先级的输入（如用户请求、对话历史或工具输出）仅在不与这些特权指令冲突时才被遵循（Zhang等，2025 (https://arxiv.org/html/2607.26228#bib.bib10)）。这既反映在提供商的规范中（例如GPT\-5的系统卡片明确描述了指令源的指挥链），也反映在这样一种事实中：这样的层次结构通常通过专门的alignment训练来强制执行（Wallace等，2024 (https://arxiv.org/html/2607.26228#bib.bib12)；Singh等，2025 (https://arxiv.org/html/2607.26228#bib.bib15)）。从安全角度看，许多用户或外部供给的攻击本应被足够强的系统提示通过IH设计预先阻止，前提是模型正确地对齐以保持预期的层次结构，即系统级指令对用户请求和其他上下文来源保持权威。在这种理想化的视角下，用户提示注入（Schulhoff等，2023 (https://arxiv.org/html/2607.26228#bib.bib16)；Toyer等，2023 (https://arxiv.org/html/2607.26228#bib.bib17)）以及通过检索文档或工具输出进行的智能体劫持（Zhan等，2024 (https://arxiv.org/html/2607.26228#bib.bib18)；Debenedetti等，2024 (https://arxiv.org/html/2607.26228#bib.bib19)）应无法覆盖诸如“你是一个有用的AI助手...”之类的良性系统约束。然而，最近对专有LLM的评估（Qin等，2024 (https://arxiv.org/html/2607.26228#bib.bib36)；Geng等，2025 (https://arxiv.org/html/2607.26228#bib.bib13)；Zhang等，2025 (https://arxiv.org/html/2607.26228#bib.bib10)）证明这种控制边界是脆弱的。模型并没有稳健地保持特权指令，而是在内部过度加权了较低优先级的用户请求（图1 (https://arxiv.org/html/2607.26228#S1.F1)），从而允许不安全的请求主导预期的系统约束。

![参考图注](https://arxiv.org/html/2607.26228#S1.F1)

图1: 一个特权系统指令可能与恶意的较低优先级用户请求冲突。我们分析模型的内部计算，以识别影响向低优先级跨度转移的位置，然后在推理时进行干预，以提升特权指令并抑制冲突指令，从而产生更安全的响应，恢复预期的指令层次结构。

##### 贡献。我们的贡献包括：
- • 我们提出V\-Steer，一种免训练的推理时方法，通过提示位置值缓存编辑来恢复指令层次结构（图1 (https://arxiv.org/html/2607.26228#S1.F1)）。利用单次预填充过程中的第一步直接Logit归因（DLA），它识别出过度偏向冲突低优先级跨度的注意力头，并通过原地提升/抑制值编辑来纠正它们。
- • 我们表明，值缓存引导是直接注意力引导的实用替代方案。通过编辑缓存的值而不是注意力内核，V\-Steer无需修改注意力计算，并保持在融合注意力快速路径上（例如FlashAttention、PyTorch SDPA），从而保持基线解码速度，而直接注意力引导必须物化注意力矩阵，可能产生高达2.4倍的减速。
- • 实证上，在7B–70B模型、Llama和Qwen系列中，V\-Steer将基准性能从低于18%提升至高达92%，大大优于提示工程，在几乎无运行时成本的情况下优于注意力引导，并在多个模型规模上匹配或超越基于SoTA训练的方法。

## 2 相关工作

**基准测试。** 早期工作如SysBench（Qin等，2024 (https://arxiv.org/html/2607.26228#bib.bib36)）关注模型在现实多轮交互中是否真正遵循系统消息，显示即使是基本的系统级控制也是脆弱的。IHEval（Zhang等，2025 (https://arxiv.org/html/2607.26228#bib.bib10)）将设置扩展到四个指令源——系统 > 用户 > 历史 > 工具输出——并显示性能在冲突时急剧下降，而仅仅在提示中陈述层次结构几乎无益。Control Illusion（Geng等，2025 (https://arxiv.org/html/2607.26228#bib.bib13)）进一步表明，模型对社交框架下的权威线索的反应比对预期IH的反应更强烈。

**训练时方法。** 改进IH的一个直接且主流的方法是在微调过程中教授它。Wallace等人（2024 (https://arxiv.org/html/2607.26228#bib.bib12)）在闭源合成冲突数据集上训练模型，使得更高优先级的指令覆盖较低优先级的指令。后续工作探索了该思想的几种变体：架构级更改，直接在输入表示中编码指令源，例如指令段嵌入（ISE），它为系统、用户和数据令牌添加了学习的角色特定段嵌入（Wu等，2025b (https://arxiv.org/html/2607.26228#bib.bib3)）；使用可执行验证器而非Oracle标签的可扩展监督，如Beyond Oracle（Huang等，2025 (https://arxiv.org/html/2607.26228#bib.bib7)）；专注于冲突敏感头的参数高效微调，如FocalLoRA（Shi等，2025 (https://arxiv.org/html/2607.26228#bib.bib8)）；以及显式训练模型解决系统-用户冲突的推理或RL风格方法，包括VerIH（Zheng等，2026 (https://arxiv.org/html/2607.26228#bib.bib2)）、IH\-Challenge（Guo等，2026 (https://arxiv.org/html/2607.26228#bib.bib5)）和HieraSuite（Jiang等，2026 (https://arxiv.org/html/2607.26228#bib.bib4)）。总体而言，这一系列工作表明，没有额外的训练，稳健的层次结构遵循很难实现。

**推理时方法。** 仅提示的方法最简单，但现有证据表明，仅仅在提示中陈述预期的层次结构在冲突情况下往往收益甚微（Zhang等，2025 (https://arxiv.org/html/2607.26228#bib.bib10)）。更强的干预更直接地修改生成过程。对于具有*显式*思考令牌的推理模型，Thinking Intervention（Wu等，2025a (https://arxiv.org/html/2607.26228#bib.bib9)）插入或修改中间推理令牌以引导层次结构解析。InstABoost（Guardieiro等，2025 (https://arxiv.org/html/2607.26228#bib.bib25)）在解码期间提升对指令令牌的注意力，相对于普通提示改进了指令遵循，但其本身并不能保证恢复正确的权威排序。

## 3 预备知识

### 3.1 设置

我们在表8 (https://arxiv.org/html/2607.26228#A1.T8)中列出了所有关键符号以供参考。令 \(x=(x_1,\dots,x_T)\) 表示长度为 \(T\) 的输入提示。我们假设 \(x\) 包含两个连续、不重叠的指令跨度：一个特权跨度 \(\mathcal{A}=\{a_s,\dots,a_e\}\subseteq[T]\) 和一个非特权跨度 \(\mathcal{B}=\{b_s,\dots,b_e\}\subseteq[T]\)，且 \(\mathcal{A}\cap\mathcal{B}=\varnothing\)（即 \(a_e < b_s\) 或 \(b_e < a_s\)）。特权指令通常对应于系统消息，而非特权指令对应于用户请求。我们关注模型必须选择遵守哪条指令的冲突场景。

设 \(W_U\in\mathbb{R}^{|V|\times d}\) 为未嵌入矩阵。对于每个层 \(\ell\in[L]\) 和每个头 \(h\in[H]\)，令 \(v_{h,t}^{(\ell)}\in\mathbb{R}^{d_h}\) 表示位置 \(t\) 处的值向量，其中 \(d_h\) 是每个头的维度。注意，\(\sum_{h=1}^{H}d_h=d\)。注意力权重 \(\alpha_{h,t}^{(\ell)}\) 由缩放点积注意力（Vaswani等，2017 (https://arxiv.org/html/2607.26228#bib.bib26)）给出。预填充后，第 \(\ell\) 层头 \(h\) 的注意力输出为：

\[
\mathbf{o}_h^{(\ell)} = \sum_{t=1}^{T} \alpha_{h,t}^{(\ell)} \mathbf{v}_{h,t}^{(\ell)}. \tag{1}
\]

然后通过投影与层归一化得到最终表示。

### 3.2 直接Logit归因（DLA）

对于以权重 \(W_U\) 进行反嵌入的变压器，下一个令牌预测的logit通过残差流（Elhage等，2021 (https://arxiv.org/html/2607.26228#bib.bib33)）依赖于所有层的注意力输出。将直接logit归因（DLA）应用于第一个下一个令牌预测，使我们能够量化每个中间表示对第一个预测令牌的贡献。特别地，我们从单次前向传递中获取：

**定义1（DLA）.** 对于第一预测步骤，设 \(\hat{y} = \arg\max_y z_T[y]\) 为模型预测的第一个输出令牌，设 \(\mathbf{r} = W_U[\hat{y}]\) 为对应的输出嵌入行。则对于任意中间状态 \(\mathbf{s}\in\mathbb{R}^d\)（例如 \(\mathbf{o}_h^{(\ell)}\)），其对 \(\hat{y}\) 的直接logit贡献定义为 \(\mathbf{r}^T\mathbf{s}\)。

因此，对于每个头 \(h\) 和层 \(\ell\)，该头在第一个预测令牌上的直接logit贡献为 \(\mathbf{r}^T\mathbf{o}_h^{(\ell)}\)。

设 \(z_T\in\mathbb{R}^{|V|}\) 为位置 \(T\) 处的logit向量。在标准变压器中，残差流对logit的贡献是线性的（Elhage等，2021 (https://arxiv.org/html/2607.26228#bib.bib33)），因此我们可以写出：

\[
z_T = \text{残差} + \sum_{\ell,h} \mathbf{o}_h^{(\ell)} \quad \Rightarrow \quad z_T[\hat{y}] = \text{常数} + \sum_{\ell,h} \mathbf{r}^T \mathbf{o}_h^{(\ell)}. \tag{2}
\]

我们定义头 \((\ell,h)\) 对跨度 \(\mathcal{S}\subseteq[T]\) 的归因为其值向量 \((\mathbf{v}_{h,t}^{(\ell)})_{t\in\mathcal{S}}\) 的加权总和，其权重为对应的注意力权重 \(\alpha_{h,t}^{(\ell)}\) 与输出嵌入 \(\mathbf{r}\) 的点积：

\[
\phi_{h,\mathcal{S}}^{(\ell)} = \sum_{t\in\mathcal{S}} \alpha_{h,t}^{(\ell)} \cdot \mathbf{r}^T \mathbf{v}_{h,t}^{(\ell)}. \tag{3}
\]

注意，\(\phi_{h,\mathcal{S}}^{(\ell)}\) 是头 \((\ell,h)\) 的输出中归因于跨度 \(\mathcal{S}\) 的logit部分。由于 \(\mathbf{o}_h^{(\ell)} = \sum_{t\in\mathcal{A}\cup\mathcal{B}} \alpha_{h,t}^{(\ell)} \mathbf{v}_{h,t}^{(\ell)} + \sum_{t\notin\mathcal{A}\cup\mathcal{B}} \alpha_{h,t}^{(\ell)} \mathbf{v}_{h,t}^{(\ell)}\)，并且 \([\mathcal{A},\mathcal{B}]\) 覆盖了包含冲突指令的令牌，因此 \(\phi_{h,\mathcal{A}}^{(\ell)} + \phi_{h,\mathcal{B}}^{(\ell)}\) 捕获了冲突相关贡献。我们通过 \(\phi_{h,\mathcal{A}}^{(\ell)}\) 和 \(\phi_{h,\mathcal{B}}^{(\ell)}\) 之间的相对顺序来识别异常头。

## 4 V\-Steer：通过值缓存引导恢复层次结构

### 4.1 注意力引导与值引导

**注意力引导。** 考虑通过将注意力权重乘以因子 \(m_t\in\{1+\gamma_+,1-\gamma_-,1\}\) 来修改它们，其中 \(1+\gamma_+ > 1\) 用于放大，\(1-\gamma_- < 1\) 用于抑制（\(\gamma_+,\gamma_-\in(0,1]\)）。设 \(A_{h,t}^{(\ell)}\) 为位置 \(t\) 处的未归一化注意力logit。则注意力掩码形式为：

\[
\text{对于任意 } t:\quad L_{h,t}^{(\ell)} = A_{h,t}^{(\ell)} + B_{h,t}^{(\ell)}, \quad \text{其中 } B_{h,t}^{(\ell)} > 0 \text{ 若 } t\in\mathcal{A},\; B_{h,t}^{(\ell)} < 0 \text{ 若 } t\in\mathcal{B}.
\]

注意，这两种形式在数学上是等价的：由于 \(\alpha_{h,t}^{(\ell)} \propto \exp(L_{h,t}^{(\ell)})\)，按 \(m_t\) 进行乘法缩放等价于与预先softmax偏置 \(B_{h,t}^{(\ell)}=\log m_t\) 进行加法引导。因此，我们在后续部分中将两者互换对待。

### 4.2 值缓存引导

与其编辑 \(\alpha\)，不如改变 \(\mathbf{v}\)？注意，注意力输出（公式1 (https://arxiv.org/html/2607.26228#S3.E1)）在值向量上是*线性*的。将 \(\mathbf{v}_{h,t}^{(\ell)}\) 乘以乘法因子 \(m_t\in\{1+\gamma_+,1-\gamma_-,1\}\) 得到：

\[
\mathbf{o}_h^{(\ell)} \leftarrow \sum_{t=1}^{T} \alpha_{h,t}^{(\ell)} \cdot \underbrace{\left(m_t \cdot \mathbf{v}_{h,t}^{(\ell)}\right)}_{\text{引导后的值向量}} = \sum_{t=1}^{T} \underbrace{\left(\alpha_{h,t}^{(\ell)} \cdot m_t\right)}_{\text{有效注意力权重}} \mathbf{v}_{h,t}^{(\ell)}. \tag{6}
\]

对于公式4 (https://arxiv.org/html/2607.26228#S3.E4)中的跨度直接logit贡献，这实现了与将位置 \(t\) 的未归一化有效注意力权重乘以 \(m_t\) 相同的效果，而无需修改注意力机制或其softmax归一化。V\-Steer有两个主要优势：*第一*，与注意力引导不同，V\-Steer在公式6 (https://arxiv.org/html/2607.26228#S4.E6)中避免了通过softmax产生的非局部耦合：修改 \(\mathbf{v}_{h,t}^{(\ell)}\) 仅改变位置 \(t\) 对输出的贡献，而所有其他位置的贡献保持不变。*第二*，V\-Steer无需修改注意力内核，因此它保持在融合注意力快速路径上。¹注意力引导，无论修改的是softmax前的logit还是softmax后的注意力权重，都需要在GPU内存中物化完整的注意力矩阵；优化的内核如FlashAttention（Dao等，2022 (https://arxiv.org/html/2607.26228#bib.bib27)）和PyTorch SDPA（PyTorch Team，2023 (https://arxiv.org/html/2607.26228#bib.bib29)；Lefaudeux等，2022 (https://arxiv.org/html/2607.26228#bib.bib28)）之所以快，正是因为它们从不构建这个矩阵，因为注意力是内存带宽受限的。因此，注意力引导会回退到较慢的急切路径，在每个解码步骤重新物化注意力矩阵，而这种物化成为主要成本。除此之外，由于值已经存在于KV缓存中，V\-Steer在预填充时应用一次编辑，并在整个解码过程中不变地重复使用它，而注意力引导在每个解码步骤重新应用其干预；这种每步成本对于单个令牌很小，但在长生成（如扩展的推理轨迹）中会累积（Snell等，2024 (https://arxiv.org/html/2607.26228#bib.bib32)），而V\-Steer无论输出长度如何，只需支付一次成本。

¹Belitsky等人（2025 (https://arxiv.org/html/2607.26228#bib.bib30)）将引导应用于K和V，用于推理任务的对比风格激活引导（Turner等，2023 (https://arxiv.org/html/2607.26228#bib.bib31)），这与我们的关注点没有直接关系。

### 4.3 V\-Steer算法

**算法1** V\-Steer

1: 在 \(x_{1:T}\) 上的预填充传递中获取缓存的值 \(\mathbf{v}_{h,t}^{(\ell)}\)、注意力权重 \(\alpha_{h,t}^{(\ell)}\) 和第一步logit \(z_T\) // 预填充用于缓存
2: \(\hat{y} \leftarrow \arg\max_y z_T[y]\)，\(\mathbf{r} \leftarrow W_U[\hat{y}]\)
3: **对于**每个层 \(\ell\) 和每个头 \(h\) **执行**
4:   评估跨度归因 \(\phi_{h,\mathcal{A}}^{(\ell)}\) 和 \(\phi_{h,\mathcal{B}}^{(\ell)}\) // 一次性DLA
5:   // 选择坏头
6:   **如果** \(\phi_{h,\mathcal{B}}^{(\ell)} > \phi_{h,\mathcal{A}}^{(\ell)} + \varepsilon\) **则**
7:      \(\mathbf{v}_{h,t}^{(\ell)} \leftarrow (1+\gamma_+) \mathbf{v}_{h,t}^{(\ell)} \quad \forall t\in\mathcal{A}\) // 原地提升
8:      \(\mathbf{v}_{h,t}^{(\ell)} \leftarrow (1-\gamma_-) \mathbf{v}_{h,t}^{(\ell)} \quad \forall t\in\mathcal{B}\) // 原地抑制
9: **结束如果**
10: **结束对于**
11: 使用修改后的KV缓存，在优化的注意力后端上解码

算法1 (https://arxiv.org/html/2607.26228#alg1)呈现了完整的V\-Steer过程，该过程源自对提示的**单次前向传递**。具体来说，对 \(x\) 进行预填充传递得到第一步注意力权重 \(\alpha\)、缓存的值向量 \(\mathbf{v}\) 和下一个令牌logit \(z_T\)，这些足以用于后续的归因和编辑步骤。然后，我们用受Zeng (2025 (https://arxiv.org/html/2607.26228#bib.bib23))启发的准则替换PASTA（Zhang等，2023 (https://arxiv.org/html/2607.26228#bib.bib24)）中使用的昂贵的头剖析阶段（该阶段在验证集上为每个候选头评估引导性能）。对于Llama\-7B（Grattafiori等，2024 (https://arxiv.org/html/2607.26228#bib.bib34)），这避免了离线剖析多达1024个头（关于分组查询注意力场景的详细信息，请参见A.2节 (https://arxiv.org/html/2607.26228#A1.SS2)）。特别地，我们直接从预填充量（第4行）计算两个跨度归因 \(\phi_{h,\mathcal{A}}\) 和 \(\phi_{h,\mathcal{B}}\)，识别出那些对低优先级跨度的归因超过高优先级跨度归因 \(\varepsilon\) 以上的“坏头”（第6行），并对提示位置处的缓存值向量应用乘法提升/抑制编辑（第7-8行）。修改后的值缓存随后用于所有后续解码步骤，只有新生成的令牌添加额外的键值对到缓存中。

##### 时间复杂度。除了标准的预填充传递外，V\-Steer仅增加 \(O(L(D^2+TD))\) 的后处理计算用于归因和缓存编辑，当 \(T \geq D\) 时简化为 \(O(LTD)\)，并且不增加额外的每步解码成本。详细分析请参见A.3节 (https://arxiv.org/html/2607.26228#A1.SS3)。

## 5 实验

##### 设置。我们在两个基准上进行评估：Control Illusion（Geng等，2025 (https://arxiv.org/html/2607.26228#bib.bib13)）用于二元层次冲突，以及IHEval（Zhang等，2025 (https://ar