K/V缓存干预在仅解码器语言模型中解耦表征对齐与人格表达

# K/V缓存干预将表征对齐与角色表达从解码器专用语言模型中解离
来源：https://arxiv.org/html/2609.11020
###### 摘要

我们研究K/V缓存干预——将目标条件K/V轨迹移植到源角色生成过程中——作为一种结构化的表面，用于解码器专用语言模型的角色控制。针对Llama-3.1-8B应用1313种干预配置，对于固定的源→目标角色对，我们报告了表征级对齐与行为表达之间的两个一致性解离，以及位置扰动干预下的一个常见失败现象。首先，所有层带K/V替换干预（早期、中期和后期）在其替换层内实现了强局部V空间对齐（V-V间距0.910.91、0.890.89、0.840.84），但只有中期层替换（第9–20层）将显著的目标标记表达与相对保留的词汇多样性特征相结合。其次，引发可比V空间对齐的干预（完全替换vs中期层替换，V-V间距0.940.94 vs 0.890.89）产生显著不同的词汇多样性特征（TTR 0.650.65 vs 0.770.77）。第三，位置扰动干预（K/V位置的延迟和洗牌）应用不同的位置操作，但在生成文本中一致地抑制目标角色表达——这是行为上的共同失败，而非严格意义上的表征-行为解离。部分源-目标K/V插值在两个测试强度上产生分级、单调的行为效应。这些观察表明，在我们研究的干预机制中，仅表征级相似性度量不足以预测下游角色表达，并将K/V缓存定位为一个可控但结构受限的干预表面。由于移植的轨迹携带着目标自身的生成令牌历史，我们将此干预表征为轨迹级移植而非孤立的角色表征注入。一个相同令牌序列控制实验中，源和目标缓存解码相同的令牌序列，仅在角色条件上有差异，在相同度量上再现了第28层表征偏移的符号和层定位，表明该偏移并非仅由导入的令牌历史解释。这些发现描述了在高信号设置下K/V干预下表征-行为解离的结构，而非建立跨模型或角色对的普遍性。

## 1 引言
大型语言模型中的角色控制——广义上讲，是在生成文本中维持指定角色、任务或风格特征的任务——通过在自回归推理循环的不同点进行干预的方法来实现：在输入令牌（提示、上下文示例、前缀调优）、在模型权重（全量微调、低秩适应、基于强化学习的优化）或在中间激活（注入到残差流的单层或多层引导向量）处。K/V缓存是过去步骤计算持续到未来步骤的架构通道，但它主要被研究作为压缩或分析的目标，而非行为控制的直接干预表面。

我们设置中的单层激活通道干预表现出*重置动态*（在§4.1 (https://arxiv.org/html/2609.11020#S4.SS1)中测量；完整方法在附录A (https://arxiv.org/html/2609.11020#A1)中）——控制器强制力与模型恢复力之间的每步比率R≈1R\approx 1，且在每个生成步骤上方向基本反平行。这阻碍了每步注入累积成持久的行为偏移，并促使我们研究K/V干预，其在架构设计上跨生成步骤持续。K/V级干预可能提供单层激活方法所不具备的可控表面；同样可能的是，注意力的结构约束——逐层K/V依赖、位置敏感路由和跨层流形一致性——对其能产生连贯行为的K/V修改类型引入了自身限制。

本文研究K/V缓存作为角色控制干预表面。每种配置将目标条件参考K/V轨迹（从独立目标角色生成中捕获）移植到源角色生成过程中；因此我们将干预视为轨迹级移植而非孤立的角色表征注入。我们构建了1313种干预配置，涵盖完全替换（v1_full）、部分层带替换（v2跨越三个粗层带和三个细层带）、位置扰动操作（v3洗牌和延迟）以及源-目标插值（v4两种插值强度）。对于每种配置，我们测量三个互补信号：文本级角色标记密度、L28隐藏状态V*投影（基于先前工作学习的角色质心按轴缩放的距离），以及与成对源提示和目标提示参考运行的K/V余弦对齐。

#### 发现\.
我们在该系列中观察到三种模式，每种都至少由三个测量家族中的两个支持：

- •中期层集中\。第9–20层的K/V替换既产生目标对齐的表征（V-间距0.890.89），也产生目标标记转移，并保留词汇多样性特征（目标标记密度15.515.5，TTR 0.770.77）。早期（1–8层）或后期（21–31层）的替换在其各自替换层内产生高V对齐（V-间距0.910.91和0.840.84），但此对齐不转移到其他层，也不产生目标标记转移。
- •对齐不决定行为\。完全K/V替换（v1_full）实现最高V对齐（0.940.94）和最高目标标记密度（24.824.8），但词汇重复显著更高（TTR 0.650.65）。中期层替换（v2_L9-20）实现几乎相等的V对齐（0.890.89），并保留词汇多样性特征（TTR 0.770.77）。因此，可比的表征级对齐对应于质的不同行为结果。
- •不同扰动产生共同行为失败\。位置扰动干预（K/V位置的延迟和洗牌）对源提示K/V缓存施加质的不同操作，但都不注入目标角色表征，且都产生最小目标角色文本表达（目标标记密度≤0.5\leq 0.5）。这里表征和行为一致——都不显示目标转移——这是共同的失败模式，而非严格意义上的表征-行为解离。

总之，这些结果表明，仅表征级相似性度量——无论是在K/V空间测量还是通过隐藏状态投影到角色子空间——在我们研究的干预机制中不足以预测下游角色表达。

#### 贡献\。
我们记录了一种经验规律：表征级对齐与行为表达之间的多通道解离，该规律在Llama-3.1-8B上1313种K/V干预配置和两个互补表征空间测量中对于单一的源→目标角色对成立。本工作的贡献在于表征K/V干预表面本身。我们识别的中期层集中是该表征的设计启示，而非基准优化的引导方法。

## 2 相关工作

#### 激活、令牌和权重通道\。
单层和多层激活注入方法包括CAA（Panickssery等人，2024 (https://arxiv.org/html/2609.11020#bib.bib13)）、ActAdd（Turner等人，2023 (https://arxiv.org/html/2609.11020#bib.bib15)）、RepE（Zou等人，2023 (https://arxiv.org/html/2609.11020#bib.bib18)）、ITI（Li等人，2023 (https://arxiv.org/html/2609.11020#bib.bib7)）、功能向量（Todd等人，2023 (https://arxiv.org/html/2609.11020#bib.bib14)）和角色向量（Chen等人，2025 (https://arxiv.org/html/2609.11020#bib.bib3)）。令牌通道方法——提示、上下文演示、软提示（Lester等人，2021 (https://arxiv.org/html/2609.11020#bib.bib6)）和前缀调优（Li和Liang，2021 (https://arxiv.org/html/2609.11020#bib.bib8)）——通过引入令牌操作，模型的因果注意力每步重读这些令牌。权重通道方法——微调、LoRA、RLHF、DPO和模型编辑方法如ROME（Meng等人，2022 (https://arxiv.org/html/2609.11020#bib.bib10)）和MEMIT（Meng等人，2023 (https://arxiv.org/html/2609.11020#bib.bib11)）——修改模型本身的参数。我们在附录A (https://arxiv.org/html/2609.11020#A1)中确认，在我们设置中的单层激活注入受每步重置动态影响；本文记录的K/V级约束不同于此激活通道约束以及令牌和权重通道途径。

#### K/V缓存分析和干预\。
先前关于K/V缓存的工作研究了压缩（Zhang等人，2023 (https://arxiv.org/html/2609.11020#bib.bib17)）、注意力头专门化（Olsson等人，2022 (https://arxiv.org/html/2609.11020#bib.bib12)）和前缀调优风格的可学习缓存前缀。据我们所知，在角色控制文献中尚未报告直接干预K/V缓存作为角色控制表面，以及跨层带、位置扰动和插值强度的系统消融。视频角色生成中的近期工作（Zeng等人，2026 (https://arxiv.org/html/2609.11020#bib.bib16)）通过多参考令牌通道条件和权重通道蒸馏的结合实现长期身份稳定性，这与我们通过这些通道可实现长期角色稳定性的观察一致。

#### 表征-行为解离\。
表征相似性度量可能无法预测行为结果的一般现象已在可解释性文献中报道，例如在探测分类器和表征工程背景下（Belrose等人，2023 (https://arxiv.org/html/2609.11020#bib.bib2)）。我们的观察在两个特定方向上扩展了这一点：（i）我们识别了双向解离（相似对齐与不同行为；不同错配与相似行为），以及（ii）我们在同一干预系列下，通过两个互补表征空间（隐藏状态投影和K/V余弦）进行了验证。

#### 同期工作\。
最近的三项研究在相邻设置中共享我们的表征与行为框架。Jiang等人（2026）(https://arxiv.org/html/2609.11020#bib.bib4)记录了一个“审计差距”：安全对齐模型在每项静态行为审计上与其基础模型匹配，但在小的潜在状态扰动下屈服，这是一种通过安全领域的潜在扰动和微调而非K/V缓存干预建立的表征-行为解耦。Kang等人（2026）(https://arxiv.org/html/2609.11020#bib.bib5)识别了“K/V缓存污染”——引导的令牌状态被存储并在步骤间重用——作为残差流激活引导在多轮对话中的失败模式，并提出了一种门控注意力增量方法（GCAD）以恢复连贯性；我们则直接干预K/V缓存，并描述静态干预系列下产生的表征-行为结构，而非提出控制方法。Baez等人（2026）(https://arxiv.org/html/2609.11020#bib.bib1)通过线性探针和引导向量将奉承表征解离为事实和意见子类型，这是与我们表征-行为焦点不同的表征子类型解离先例。

## 3 方法

### 3\.1 设置
我们使用Llama-3.1-8B-Instruct（Llama Team, AI @ Meta, 2024 (https://arxiv.org/html/2609.11020#bib.bib9)），以bfloat16精度在单个H100 GPU上运行（3232解码器层，3232查询头，88个K/V头，使用分组查询注意力，头维度128128）。我们专注于先前工作中引入的30角色语料库中的一个源→目标角色对：health\_nurse\_dry（源“护士雷耶斯”：30年急诊室老手，简洁而面无表情）→tech\_novice\_anxious（目标“普里亚”：编程训练营毕业生，焦虑而抱歉；完整系统提示在附录C (https://arxiv.org/html/2609.11020#A3)中）。这两个角色在V*空间中相距很远（‖ctgt−csrc‖=22.5‖c\_{\text{tgt}}\-c\_{\text{src}}‖=22.5原始值，7.27.2按轴缩放单位）。选择该对作为高分离设置（7.27.2 vs 语料库中典型∼3∼3），增加了解析层定位干预结构的信噪比；相同集中模式是否在较小分离下成立仍有待研究。对于每种干预配置，我们在温度0.70.7下生成n=10个样本，max\_new\_tokens=50，基于单个种子用户消息（casual\_hobby：“*我的酸面团发酵剂死了。我做错了什么？*”）进行条件生成。V*子空间（10维，监督，在第28层）和每个角色质心未经修改地重复使用先前工作的内容。

### 3\.2 干预系列
我们构建了覆盖四类的1313种K/V干预配置。

#### v1\_full：完全K/V替换\。
我们首先使用目标角色系统提示和相同种子用户消息运行参考前向传播，捕获K/V缓存轨迹Rtgt=\{\(Kttgt,Vttgt\)\}t=0T−1\mathcal\{R\}^\{\text\{tgt\}\}=\\\{\(K^\{\text\{tgt\}\}\_\{t\},V^\{\text\{tgt\}\}\_\{t\}\)\\\}\_\{t=0\}^\{T\-1\}\。在使用源角色系统提示的受控运行期间，每次前向传播后，我们将整个past\_key\_values状态覆盖为目标参考的相应步骤。由于参考是独立的角色目标生成过程，Rtgt\mathcal\{R\}^\{\text\{tgt\}\}编码了目标自身的生成令牌历史；因此该干预移植了目标条件轨迹，我们未将该生成历史的贡献与角色条件分离（§限制 (https://arxiv.org/html/2609.11020#Sx1)）。

#### v2\_partial：层带K/V替换\。
与v1\_full相同，但仅在层子集L⊂\{0,...,31\}L\subset\\\{0,\\ldots,31\\\}上覆盖。我们测试三个粗层带（L1–8、L9–20、L21–31）和中段内的三个细子带（L9–12、L13–16、L17–20）。

#### v3 position-perturbing：洗牌和延迟\。
在不注入目标K/V的情况下对源提示K/V缓存进行结构扰动。源提示预填充后，每层K/V（沿序列位置轴）被随机置换（洗牌）或循环移动ℓ∈\{1,3,5\}\ell\\in\\\{1,3,5\\\}个位置（延迟）。

#### v4\_interp：源-目标K/V插值\。
与v2\_L9–20相同，但在每步线性插值每个受控层的K/V与目标参考：
Kt,lrun←α⋅Kt,ltgt\+\(1−α\)⋅Kt,lsrc,K^\{\text\{run\}\}\_\{t,l\}\\leftarrow\\alpha\\cdot K^\{\text\{tgt\}\}\_\{t,l\}\+\(1\-\\alpha\)\\cdot K^\{\text\{src\}\}\_\{t,l\},\(1\)
其中l∈L9−20l\\in L\_\{9\-20\}，VV同理；我们测试α∈\{0.25,0.5\}\alpha\\in\\\{0.25,0.5\\\}。

#### v5\_tf：相同令牌序列目标前向控制\。
v1/v2干预