Bypass Observation: 一种非侵入式层级语义提取架构的概念设计

# 旁路观察：一种非侵入式逐层语义提取的概念设计架构
来源：https://arxiv.org/html/2609.13807  
姜宇††注：通讯作者\.单位：国防科技大学单位：中国长沙邮箱：[yujiang@nudt\.edu\.cn](mailto:)

###### 摘要

大型语言模型的推理过程在高维隐藏向量空间中展开，而人类只能观察到最终输出。这种不匹配构成了可解释性和安全审计的核心障碍。本文系统性地整合并完善了*旁路观察*架构。在不改变骨干模型层间向量传输的前提下，于选定的推理层并行附加一个只读观察头。最简形式中，该观察头是一个语言模型头风格或经过校准的词汇表读取器，用于暴露中间预测分布；在扩展形式中，一个单独训练的语义翻译器可将这些读取结果或隐藏状态转换为紧凑的人类可读摘要。在所有情况下，观察输出都不会反馈至骨干计算。我们做出四项主要贡献。首先，针对全词汇表读取设置，我们推导出了计算开销的闭式近似解：额外成本主要由V/\(12d\)V/\(12d)决定，对于典型模型，其范围大约在30%至240%之间。我们进一步讨论了稀疏观察、低秩分解、缩减语义词汇表、top-k算子以及关键位置采样等实用的成本降低策略。其次，我们认为旁路观察使模型从黑盒向半透明系统演进。其只读特性防止了观察输出对骨干计算产生因果影响，并将观察通道与传统的自生成事后解释分离开来；然而，得到的读取结果仅是对底层隐藏状态的部分视图，可能产生一种*白盒幻觉*。第三，我们区分了*旁路思维链*与传统思维链的因果地位：前者是开环读取，而后者是闭环计算的一部分。这一区别改变了这两种信号在强化学习中的解释和优化方式。第四，我们分析了旁路观察对于循环或递归深度Transformer的特殊价值，其中逐次解码可将原本不透明的动态计算转化为可观测的收敛轨迹，并可能支持停止条件和安全阈值。本文所有结论均为概念性或分析性，有待通过系统实验进行验证。

## 1引言

在基于Transformer的大型语言模型推理过程中，信息以高维隐藏向量的形式通过残差流传播，并仅在输出层投影到词汇表分布中。人类可以直接观察最终解码的输出，但跨越数十甚至数百个中间层执行的计算仍然难以解释。这种黑盒特性至少造成三个问题。首先，难以回答模型在中间阶段正在计算什么。其次，潜在的欺骗性内部状态、幻觉的形成或异常激活可能在最终输出产生之前一直不可见。第三，仅基于最终结果的强化学习提供了稀疏的信用分配，并可能容易受到语言奖励欺骗的影响。

现有的可解释性方法可分为几个大类，每类都有其结构性局限：

- •探测与线性解码。基于探测的方法（Alain和Bengio，2017 (https://arxiv.org/html/2609.13807#bib.bib1)；Hewitt和Manning，2019 (https://arxiv.org/html/2609.13807#bib.bib9)）证明了可以从隐藏状态中解码出句法或语义信息，但这些结果主要建立的是相关性而非因果关系，并且通常需要离线训练。
- •透镜方法。Logit Lens（nostalgebraist，2020 (https://arxiv.org/html/2609.13807#bib.bib14)）直接将反嵌入矩阵应用于中间隐藏状态，以检查预测的演变过程。Tuned Lens（Belrose等人，2023 (https://arxiv.org/html/2609.13807#bib.bib3)）通过逐层仿射校准提高了早期层的可读性。然而，这些方法通常用作诊断工具，而非持久的架构组件。
- •稀疏自编码器与机制可解释性。稀疏自编码器（SAEs）从叠加表示中提取可解释特征（Huben等人，2024 (https://arxiv.org/html/2609.13807#bib.bib4)；Templeton等人，2024 (https://arxiv.org/html/2609.13807#bib.bib16)），而归因图方法则将特征组织成计算结构（Ameisen等人，2025 (https://arxiv.org/html/2609.13807#bib.bib2)）。这些方法可能很强大，但特征标记通常需要额外的解释，并且得到的分析通常是稀疏的或回顾性的。
- •思维链与忠实性研究。明确的中间推理可以提升性能（Wei等人，2022 (https://arxiv.org/html/2609.13807#bib.bib18)），但后续研究表明，语言化的推理依据并不总是能忠实描述产生答案的计算过程（Lanham等人，2023 (https://arxiv.org/html/2609.13807#bib.bib11)；Turpin等人，2023 (https://arxiv.org/html/2609.13807#bib.bib17)）。

旁路观察可被视为Logit Lens思想的架构化、系统化和可控化扩展。它不是将逐层解码视为偶尔的诊断操作，而是为模型配备了一个持久的观察通道，可以被部署、评估，并可能被纳入训练或审计工作流中。其定义特性是非侵入性：解码后的观察结果仅对外部观察者暴露，永远不会被插入到后续层的注意力上下文中。

图1 (https://arxiv.org/html/2609.13807#S1.F1)总结了观察通道的三种兼容实例化方式：(a)一个跨多个层共享的单一语言模型头；(b)分离的、针对特定层的语言模型头；(c)一个根据层索引或推理步数调整的kk自适应语言模型头。这些变体在参数共享和校准灵活性上有所不同，但都保持了与骨干计算相同的只读分离。

图1：旁路观察的三种架构变体。\((a)\) 一个共享的语言模型头在多个推理层中重复使用，提供参数高效的通用读取接口。\((b)\) 每个推理层配备自己的语言模型头，允许进行特定层校准，但参数成本更高。\((c)\) 一个kk自适应的语言模型头根据层索引或推理步数调整其读取输出，使一个观察器能够适应不同深度或递归计算。实线黑色箭头表示主要的前向计算，而虚线蓝色箭头表示只读观察（旁路）通道；显示的“观察到的文本”应被解释为示意图式的读取结果，可能对应于top-k词汇表预测，或者，通过额外的语义翻译器，生成文本摘要。在所有变体中，观察输出都不会反馈到骨干网络。#### 性质 1（非干扰性）\.

旁路观察是附加到骨干计算图上的只读操作。因此，在执行确定性且使用相同数值内核的假设下，附加观察模块不会改变任何后续骨干层的功能输入，也不会改变模型的最终输出。

基于透镜方法的现有经验证据支持了中间隐藏状态包含可解码预测信息的这一前提。特别是，Tuned Lens证明了特定层的校准可以显著提高中间预测读取的准确性。旁路观察将这一证据作为动机，而跨层的参数共享仍然是一个额外的架构选择，而非Tuned Lens本身建立的属性。更普遍地说，所提架构的价值和局限性必须一并说明：旁路观察可能为实际内部计算提供有用的投影，但它并不提供该计算的完整描述。

## 2形式化与基本公理

考虑一个具有\(L\)层、隐藏维度\(d\)和词汇表大小\(V\)的Transformer骨干网络。令第\(\ell\)层的隐藏状态为\(\mathbf{h}_{\ell} \in \mathbb{R}^{d}\)。标准推理遵循：
\[\mathbf{h}_{\ell+1} = F_{\ell}(\mathbf{h}_{\ell}).\tag{1}\]
对于选定的层，旁路观察并行附加一个观察函数\(O_{\ell}\)：
\[y_{\ell} = \mathrm{Decode}\!\left(O_{\ell}(\mathbf{h}_{\ell})\right).\tag{2}\]
这里，\(O_{\ell}\)可以表示一个轻量级的词汇表读取器（例如，一个语言模型头或校准透镜）或一个学习的语义翻译器。第3节的闭式成本分析专门适用于全词汇表读取情况；更具表达力的序列解码器会引入未被\(dV\)项捕获的额外计算。

我们通过三个公理来定义该架构：

- •\((A1)\) 非干扰性。对于每一层，函数\(F_{\ell}\)及其输入不包含任何层\(k \leq \ell\)的观察输出\(y_{k}\)。因此，骨干网络的输出因观察路径的存在而未被改变。A1是一个定义特性而非工程偏好：一旦\(y_{\ell}\)被反馈到骨干网络上下文中，该系统就变成了不同的架构，本文讨论的理论特性将不再适用。
- •\((A2)\) 参数共享。观察头可以跨层共享参数，可选地以层索引或递归时间步嵌入为条件。这种共享是旁路观察的设计选择，而非从通常具有特定层校准的Tuned Lens继承的要求。对于共享的全词汇表读取，额外的参数数量可以是\(O(dV)\)或更少，相比粗糙的骨干网络规模\(O(12Ld^2)\)。
- •\((A3)\) 条件读取。观察头可以以层索引或递归时间步为条件，以考虑跨深度或迭代的表示漂移和角色变化。

## 3计算开销

### 3.1闭式近似

我们计算每个生成的token和每个Transformer层的乘加运算（MACs）次数。一个MAC大致对应两个FLOPs。

相关超参数包括隐藏维度\(d\)、查询头数量\(h\)、头维度\(d_{\mathrm{head}}\)、键/值头数量\(h_{\mathrm{kv}}\)、前馈维度\(d_{\mathrm{ff}}\)以及前馈激活结构。以下近似与总层数\(L\)无关。

#### 注意力投影。

对于标准多头注意力（MHA）且\(h d_{\mathrm{head}} = d\)，Q、K、V和输出投影的有效形状均为\(d \times d\)，每层产生约
\[C_{\mathrm{attn,proj}} \approx 4d^{2}\tag{3}\]
个MACs。

对于分组查询注意力（GQA）或多查询注意力（MQA），其中\(h_{\mathrm{kv}} < h\)，K和V投影减少到\(d \times (h_{\mathrm{kv}} d_{\mathrm{head}})\)。相应的投影成本变为：
\[C_{\mathrm{attn,proj}} = \left[2 + 2\left(\frac{h_{\mathrm{kv}}}{h}\right)\right]d^{2}.\tag{4}\]
在使用KV缓存的自回归解码过程中，注意力分数计算\(Q K^{\top}\)和乘以\(V\)的运算，对于上下文长度\(S\)，增加约\(2 S d\)个MACs。相对于\(12d^{2}\)的层估计值，该项的比例为\(S/(6d)\)；对于\(d = 4096\)，仅当上下文长度达到约\(2.4 \times 10^{4}\)个token时才变得可比。此估计不描述完整的序列预填充，其注意力项对序列长度具有熟知的二次依赖关系。

#### 前馈网络。

一个传统的\(d_{\mathrm{ff}} = 4d\)的GELU MLP包含一个上投影和一个下投影，给出：
\[C_{\mathrm{FFN}} = 2 d d_{\mathrm{ff}} = 8d^{2}.\tag{5}\]
现代架构如Llama和Qwen通常使用SwiGLU风格的门控前馈块，包含三个矩阵。当宽度接近\((8/3)d\)时，其成本也大约为：
\[3d \left(\frac{8}{3}d\right) = 8d^{2}.\tag{6}\]

#### 标准近似。

在MHA + GELU-\(4d\)或MHA + SwiGLU-\((8/3)d\)下，骨干网络每层成本因此大约为：
\[C_{\mathrm{layer}} \approx 4d^{2} + 8d^{2} = 12d^{2}\tag{7}\]
个MACs。

一个全词汇表观察头在每个被观察的层执行一个\(d \times V\)的矩阵向量乘积，大约需要\(dV\)个MACs。如果观察每一层，则相对开销为：
\[\rho \approx \frac{dV}{12d^{2}} = \frac{V}{12d}.\tag{8}\]
对于任意的GQA和前馈宽度，更通用的表达式为：
\[\begin{aligned}
C_{\mathrm{layer}} &= \left[2 + 2\left(\frac{h_{\mathrm{kv}}}{h}\right)\right]d^{2} + n_{\mathrm{ff}} d d_{\mathrm{ff}}, \tag{9} \\
\rho &= \frac{V}{\left[2 + 2\left(h_{\mathrm{kv}}/h\right)\right]d + n_{\mathrm{ff}} d_{\mathrm{ff}}\}, \tag{10}
\end{aligned}\]
其中对于双矩阵GELU MLP，\(n_{\mathrm{ff}} = 2\)；对于三矩阵SwiGLU块，\(n_{\mathrm{ff}} = 3\)。

层归一化、softmax、残差加法和偏置主要涉及\(O(d)\)的逐元素操作，在此一阶估计中被忽略。嵌入查找和最终的语言模型头也从每层比较中省略。该近似与计算分析（如Chinchilla（Hoffmann等人，2022 (https://arxiv.org/html/2609.13807#bib.bib10)））中讨论的常见\(N \approx 12Ld^{2}\)缩放启发式有关。使用更积极压缩的注意力表示的架构可能偏离此简化公式更远。

### 3.2典型模型估计

表1 (https://arxiv.org/html/2609.13807#S3.T1)总结了典型模型配置的解析估计。

表 1：全词汇表旁路解码每层开销的解析估计。数值根据第3.1节描述的会计假设，从典型模型配置计算得出。#### 观察 3.1\.

开销主要由词汇表大小\(V\)与有效每层宽度之间的比率控制。在标准的\(12d^{2}\)近似下，它简化为\(V/(12d)\)。GQA降低了注意力成本，而更宽的前馈块增加了成本，因此实际层成本可能从大约\(12d^{2}\)到\(18d^{2}\)不等，如本节考虑的示例所示。因此，简单的\(V/(12d)\)估计可能与特定模型的计算结果有显著偏差。高开销的关键原因是，一个完整的语言模型头本身就是一个大的\(d \times V\)矩阵。对于词汇表超过100k个token的现代模型，在每一层应用这样的头可能成本与一个完整的Transformer层相当甚至更高。

### 3.3工程成本与成本降低策略

FLOPs并非唯一的瓶颈。在预填充过程中，