深层向量中的值向量是否需要来自残差流的上下文？

# 深层层的值向量需要残差流的上下文吗？

来源：https://arxiv.org/html/2606.02780
Muyu He Yuchen Liu††Equal contribution.Qingya Huang Li Zhang

###### 摘要

Transformer 架构作为现代大语言模型骨干的成功，很大程度上归功于其使用的注意力层。注意力层遵循标准的神经网络范式：它以残差流为输入，从而产生上下文相关的查询、键和值向量。然而，我们发现，当深层网络层仅学习一个无上下文的值向量来保留原始 token 信息，而不从残差流中获取任何上下文时，模型性能有显著提升。当模型能够访问这个无上下文的值向量时，再添加回上下文相关的组件对整体基准性能的提升微乎其微。这种无上下文的值向量可以作为稀疏模型参数存储，从而无需重新计算或持续缓存这些值。通过对这种无上下文值向量的关键设计选择进行系统消融，我们提出了Bank of Values (BoV)，一种通过为最后三分之一的每一层学习一个 token 特定值向量的查找表来计算注意力中的值向量的新方法。在135M和780M模型上，BoV 在验证损失上优于标准注意力，并且在780M规模上，21个基准测试的平均得分与之前最佳方法（以更少的计算和内存向值向量添加 token 信息）持平。††完整架构和训练代码见 https://github.com/RiddleHe/nanochat。

深层的值向量需要残差流的上下文吗？

Muyu He††Equal contribution.††Corresponding author: [email protected] Liu††Equal contribution.Qingya Huang Li Zhang

## 1 引言

参见图注
图 1: Bank of Values 概述。(a) 标准注意力：一个上下文相关的值向量直接从残差流计算得出。(b) SVFormer：一个无上下文的值向量从第一层的值向量复制到所有后续层。(c) Bank of Values：在最后三分之一的每一层中，通过 token id 从该层的值向量表 Ev\\mathbf{E}\_{v} 查找一个无上下文的值向量，并由一个可学习的系数进行缩放。

现代大语言模型普遍采用 Transformer 架构，其基本公式必然包含注意力层 (Vaswani et al., 2017 (https://arxiv.org/html/2606.02780#bib.bib45))。注意力计算查询向量和键向量之间的点积以获得注意力分数，然后根据这些分数将值向量的加权和写回残差流。尽管设计精巧，Transformer 仍保留了 ResNet 中首次提出的旧范式 (He et al., 2016 (https://arxiv.org/html/2606.02780#bib.bib15))：深层网络每层的输入是所有先前层级输出的归一化和，我们称之为残差流。这种设计对于计算查询和键是有效的，因为它允许更深层积累通过注意力从其他 token 传播过来的上下文信息 (Ghandeharioun et al., 2024 (https://arxiv.org/html/2606.02780#bib.bib14))。然而，上下文信息对于值向量是否必要，在很大程度上尚未被研究，即使值向量本身不参与跨 token 计算。因此，残差流仍然是计算值向量的默认输入，稀释了它们可用的原始 token 信息。

最近的工作开始探索值向量是否应该携带更多原始 token 信息而减少累积的上下文信息。值残差学习 (Zhou et al., 2024 (https://arxiv.org/html/2606.02780#bib.bib51)) 将深层中的值向量与第一个注意力层的值向量进行线性插值。由于第一层的值向量是 token 嵌入的线性变换，它将原始 token 信息注入深层中的值向量。类似的工作用 token 特定的值向量来调制深层中的值向量，这些值向量要么跨层共享 (Li, 2026 (https://arxiv.org/html/2606.02780#bib.bib25))，要么逐层单独学习 (Karpathy, 2025 (https://arxiv.org/html/2606.02780#bib.bib19))。所有这些方法都声称优于标准注意力机制，意味着值向量中更大比例的原始 token 信息有利于更深层。同时，有研究探索只使用无上下文的值向量进行注意力，直接在所有后续层中重用第一层的值向量 (SVFormer, Zhou et al., 2024 (https://arxiv.org/html/2606.02780#bib.bib51)) 或其组成部分 (SkipV1Former, Wu et al., 2025 (https://arxiv.org/html/2606.02780#bib.bib47))。这些方法报告的性能相对于标准注意力基线有所下降。综合来看，结果表明来自残差流的上下文信息对于深层中的值向量至关重要，而添加一个保留原始 token 信息的无上下文组件是有益的，但还不够。

我们发现，所有上述研究都存在一个共同的疏忽：当针对深层中的值向量时，从未孤立地研究计算单个无上下文值向量的效果。在罕见的研究中，无上下文的值向量仍然应用于所有层，这未能解释不同层对上下文的依赖性差异。通过沿着四个轴系统性地消融值向量的计算方式 (Section 3 (https://arxiv.org/html/2606.02780#S3))，我们发现先前工作中几乎所有的收益都来自代表原始 token 的无上下文组件，而不是来自上下文相关的组件。在这些更深层中，可以在没有残差流的情况下计算值，而对性能几乎没有损失。

深层主要受益于无上下文值向量的洞察有一个重要的后果：由于这些值向量不需要上下文信息，它们可以从特定输入序列计算得出，也无需缓存以供后续解码步骤重用。相反，无上下文的值向量可以作为无 FLOP、稀疏的模型参数持久存在，在前向传播过程中以 O(1)O(1) 时间查找。因此，我们提出了 Bank of Values (BoV)，它在最后三分之一的每一层中，用专用值向量表中的静态查找替换了从残差流计算标准值向量的方式。因此，这些层从其参数中丢弃了值矩阵，并且不再缓存值向量，只存储查找值所需的 token 索引。尽管上述工作已经探索了值查找表，但它们总是被添加在从残差流计算出的值之上。因此，这些模型仍然计算并缓存该值，以更高的内存和计算成本实现了低于 BoV 的质量 (Section 5.2 (https://arxiv.org/html/2606.02780#S5.SS2))。

实验上，我们在两个模型大小（135M 和 780M）上训练了带有 BoV 的 Transformer 模型，分别使用了 1.50×10181.50\\times 10^{18} 和 3.91×10193.91\\times 10^{19} FLOPs。在 FLOP 受控的设置下，BoV 在来自 ClimbMix 数据集 (Diao et al., 2025 (https://arxiv.org/html/2606.02780#bib.bib12)) 的大约 4190 万个 token 的保留集上降低了两个规模的验证损失，并且在 780M 规模上，相对于具有标准注意力的相同模型，提升了 21 个 DCLM CORE 基准测试 (Li et al., 2024 (https://arxiv.org/html/2606.02780#bib.bib24)) 的平均得分。此外，与向值向量添加原始 token 信息的现有方法相比，BoV 与表现最佳的变体持平，并超越了其他变体，同时每个 token 使用更少的内存和 FLOPs。

## 2 预备知识

我们为 Transformer 模型的单次前向传播建立符号，为了清晰起见省略了批次维度。模型将长度为 T 的 token 序列嵌入到 e∈RT×d\\mathbf{e}\\in\\mathbb{R}^{T\\times d}，其中 d 是隐藏维度。其归一化形式 x0=RMSNorm(e)\\mathbf{x}\_{0}=\\mathrm{RMSNorm}(\\mathbf{e})，我们称之为初始 token 嵌入，是第一个 Transformer 块的输入，本身不携带任何上下文信息。

Transformer 块通过残差连接 (He et al., 2016 (https://arxiv.org/html/2606.02780#bib.bib15)) 连接起来。第 i 个块注意力层的输入 xi\\mathbf{x}\_{i}，我们称之为残差流，是初始 token 嵌入 x0\\mathbf{x}\_{0} 与所有先前层输出之和的 RMSNorm。与无上下文的 x0\\mathbf{x}\_{0} 不同，残差流 xi\\mathbf{x}\_{i} 通过其下方的注意力层从其他 token 累积信息，因此是上下文相关的。

注意力层从 xi\\mathbf{x}\_{i} 投影出查询、键和值向量：

Q=xiWQ,K=xiWK,V=xiWV,\\mathbf{Q}=\\mathbf{x}\_{i}\\mathbf{W}\_{Q},\\quad\\mathbf{K}=\\mathbf{x}\_{i}\\mathbf{W}\_{K},\\quad\\mathbf{V}=\\mathbf{x}\_{i}\\mathbf{W}\_{V},\(1\) 其中 WQ,WK,WV∈Rd×d\\mathbf{W}\_{Q},\\mathbf{W}\_{K},\\mathbf{W}\_{V}\\in\\mathbb{R}^{d\\times d}。

每个 Q,K,V\\mathbf{Q},\\mathbf{K},\\mathbf{V} 被分割成 H 个维度为 dh=d/Hd\_h = d/H 的头，每个头 h 计算缩放点积注意力：

O(h)=softmax(Q(h)K(h)⊤dh)V(h).\\mathbf{O}^{(h)}=\\mathrm{softmax}\\!\\left(\\frac{\\mathbf{Q}^{(h)}{\\mathbf{K}^{(h)}}^{\\!\\top}}{\\sqrt{d\_h}}\\right)\\mathbf{V}^{(h)}.\(2\)

每个头的输出被拼接起来，并由 WO∈Rd×d\\mathbf{W}\_{O}\\in\\mathbb{R}^{d\\times d} 投影成注意力输出 ai=concath=1H(O(h))WO\\mathbf{a}\_{i}=\\mathrm{concat}\_{h=1}^{H}(\\mathbf{O}^{(h)})\\,\\mathbf{W}\_{O}，然后加回到残差流中，用来自其他 token 的信息更新每个 token 的表示。

参见图注
图 2: 在 12 层模型中，对于每个目标层，值向量的每个分量的无界可学习系数的值，针对替换型 (a) 和相加型 (b, c) 变体。

## 3 动机

表 1: 在 12 层、135M 模型上，不同变体的验证损失 (BPB)。γv\\gamma\_{v} 表示一个无界可学习系数。

在这项工作中，我们全面研究了注意力层中的值向量在多大程度上需要来自残差流的上下文信息，以及在多大程度上它们受益于原始 token 信息。我们为模型提供两个无上下文的原始 token 信息源，统称为 V~\\tilde{\\mathbf{V}}：一个从初始 token 嵌入 x0\\mathbf{x}\_{0} 使用目标层的值矩阵 WV\\mathbf{W}\_{V} 计算的值向量 V~=x0WV\\tilde{\\mathbf{V}}=\\mathbf{x}\_{0}\\mathbf{W}\_{V}，或者来自第一个注意力层的值向量 V~=V1\\tilde{\\mathbf{V}}=\\mathbf{V}\_{1}。在每个变体中，V~\\tilde{\\mathbf{V}} 要么替换，要么与从残差流计算的标准值向量 V=xiWV\\mathbf{V}=\\mathbf{x}\_{i}\\mathbf{W}\_{V} 线性组合。

我们的探索涵盖四个轴。(1) 相加型或替换型。我们研究模型是更多地从直接使用 V~\\tilde{\\mathbf{V}}（完全替换 V\\mathbf{V}，仅提供无上下文的原始 token 信息）中受益，还是从 V~\\tilde{\\mathbf{V}} 和 V\\mathbf{V} 的加权组合（混合无上下文和上下文相关信息）中受益。除非另有说明，所有变体仅修改最后三分之一的注意力层。(2) 可学习或固定系数。我们研究值向量的每个分量最好由一个无界可学习系数还是固定系数缩放。在替换型变体中，V~\\tilde{\\mathbf{V}} 的固定系数为 1；在相加型变体中，V~\\tilde{\\mathbf{V}} 和 V\\mathbf{V} 的固定系数均为 0.5。学习到的系数的大小揭示了模型在多大程度上偏好 V~\\tilde{\\mathbf{V}} 胜过 V\\mathbf{V}。(3) 原始 token 信息的来源。我们研究使用 x0WV\\mathbf{x}\_{0}\\mathbf{W}\_{V}（每个目标层独有）或 V1\\mathbf{V}\_{1}（所有目标层共享）作为 V~\\tilde{\\mathbf{V}}。(4) 目标层。我们研究针对最后三分之一层、每隔一层或每层的效果。

我们在一个 12 层、135M 的 GPT-2 风格 Transformer 模型 (Radford et al., 2019 (https://arxiv.org/html/2606.02780#bib.bib32)) 上进行所有实验，使用 nanochat (Karpathy, 2025 (https://arxiv.org/html/2606.02780#bib.bib19)) 的简化实现。我们在计算受控预算 1.50×10181.50\\times 10^{18} FLOPs 下训练每个变体，这对于标准注意力基线产生了 19.7 亿个 token。††该预算具有成本效益：其以每字节比特数 (BPB) 衡量的验证损失仅比在 400 亿个 token 上训练高 0.06 BPB。所有运行使用固定的全局批次大小 524,288 个 token 和序列长度 2048。我们对所有矩阵参数使用 Muon 优化器，学习率为 0.02，对其余参数使用 AdamW 优化器，遵循 nanochat 的标准实践。完整的训练配置见附录 B (https://arxiv.org/html/2606.02780#A2)。

从表 1 (https://arxiv.org/html/2606.02780#S3.T1) 和图 2 (https://arxiv.org/html/2606.02780#S2.F2) 中，我们对 V\\mathbf{V} 和 V~\\tilde{\\mathbf{V}} 对值向量的相对贡献做出以下观察。

(i) 深层偏好 V~\\tilde{\\mathbf{V}} 的份额大于 V\\mathbf{V}。图 2 (https://arxiv.org/html/2606.02780#S2.F2) (b, c) 显示，在两种相加型变体中，V~\\tilde{\\mathbf{V}} 的学习系数绝对值远大于 V\\mathbf{V} 的系数。有几个层将 V\\mathbf{V} 的系数推向 0，使其影响最小化，而最后一层将 V~\\tilde{\\mathbf{V}} 系数的幅度推过 10。当值向量从单一来源计算时，图 2 (https://arxiv.org/html/2606.02780#S2.F2) (a) 显示 V~\\tilde{\\mathbf{V}} 的系数始终保持在 2 以上，并在最后一层上升到 10 以上，而 V\\mathbf{V} 的系数被推向 0 或更低。将相加型变体中两个分量的系数都固定为 0.5（行 1 (https://arxiv.org/html/2606.02780#S3.T1) 和 1 (https://arxiv.org/html/2606.02780#S3.T1)）会增加验证损失，表明模型受益于有利于 V~\\tilde{\\mathbf{V}} 的不均匀权重。

(ii) 只有深层，而非浅层，受益于用 V~\\tilde{\\mathbf{V}} 替换 V\\mathbf{V}。使用固定系数 1，在每一层中用 V1\\mathbf{V}\_{1} 替换 V\\mathbf{V}（行 1 (https://arxiv.org/html/2606.02780#S3.T1)）导致损失高于标准注意力基线（行 1 (https://arxiv.org/html/2606.02780#S3.T1)），而将替换限制在最后三分之一层则实现了显著更低的损失（行 1 (https://arxiv.org/html/2606.02780#S3.T1)）。使用可学习系数，在每隔一层中用 V1\\mathbf{V}\_{1}（行 1 (https://arxiv.org/html/2606.02780#S3.T1)）或 x0WV\\mathbf{x}\_{0}\\mathbf{W}\_{V}（行 1 (https://arxiv.org/html/2606.02780#S3.T1)）替换 V\\mathbf{V}