CascadeFormer: 受梯度扇入不对称启发的深度渐缩Transformer

# 深度渐缩Transformer：基于梯度扇入不对称的启发

来源：https://arxiv.org/html/2606.26538

###### 摘要

深度Transformer由均匀堆叠的残差块构成，但其中最深的几层往往贡献甚微。我们提出了两种利用这种不对称性的高效方法。CascadeFormer 随深度渐缩宽度，以匹配层间不均匀的信息流，在相同训练预算下实现了与均匀基线相当的语言困惑度，同时延迟降低8.6%，吞吐量提高9.4%。CascadeFlow Pruning 利用累积的训练梯度来剪枝层，无需事后分析。它在语言困惑度和秩稳定性上优于标准启发式方法，并在下游任务准确率上保持竞争力。为激励这些方法，我们提出**梯度扇入不对称**（GFA）作为更深层贡献较少的一种结构性解释。在Pre-LayerNorm残差堆栈中，某层的梯度是一条恒等路径与所有下游功能路径之和，产生了随深度线性衰减的梯度扇入（在深度监督下呈二次衰减），从而为浅层提供更丰富的梯度，而为深层提供更稀疏的梯度。我们在从头训练至12亿参数的模型上提供了GFA的相关性和干预性证据。在Transformer和ResNet中，累积训练梯度遵循理论扇入，并与事后层重要性相关联。两项干预表明瓶颈在于结构而非幅度：均衡各层梯度范数无法恢复深层价值，而通过参数共享的重复增加下游路径数量则能恢复并提升深层价值。梯度幅度是否在高秩区域之外代理扇入，以及这些动态在100B+规模上的表现，仍是开放问题。

## 引言

Transformer 块(Vaswani et al., 2017 (https://arxiv.org/html/2606.26538#bib.bib36))的均匀缩放——简单地重复相同层以构建更深模型——一直是大型语言模型成功背后的驱动原则(Radford et al., (https://arxiv.org/html/2606.26538#bib.bib26); Brown et al., 2020 (https://arxiv.org/html/2606.26538#bib.bib1); Touvron et al., 2023 (https://arxiv.org/html/2606.26538#bib.bib35))。然而，均匀堆叠掩盖了一种功能上的不对称性。例如，当我们在WikiText上评估预训练的LLaMA模型时，其深层表现出较高的表征相似性，这是冗余的关键指标(Gromov et al., 2024 (https://arxiv.org/html/2606.26538#bib.bib8))(图1a (https://arxiv.org/html/2606.26538#S1.F1))。这种不对称性在像LayerSkip (Elhoushi et al., 2024 (https://arxiv.org/html/2606.26538#bib.bib5))这样的架构中更为明显，它通过提前退出网络来跳过后期层，揭示了其功能贡献的急剧下降(图1b (https://arxiv.org/html/2606.26538#S1.F1))。

对此现象的常规解释指向深层中衰减的梯度(Li et al., 2025 (https://arxiv.org/html/2606.26538#bib.bib19))。这个解释是正确的，但它可能处理的是症状而非根本因素。我们认为相关的量不是梯度幅度，而是梯度的组成多样性，一种我们称为**梯度扇入不对称**（GFA）的结构性瓶颈。残差连接(He et al., 2016a (https://arxiv.org/html/2606.26538#bib.bib12))将网络转变为不同长度路径的隐式集成(Veit et al., 2016 (https://arxiv.org/html/2606.26538#bib.bib37))，因此浅层从所有下游块接收梯度，而最深层由于从少数块聚合，接收到结构简单、信息贫乏的梯度。

我们通过一系列经验论证来支持GFA假说并展示其效用，所有论证均基于从头训练至12亿参数的模型。首先，我们观察到每层梯度范数 \(\bar{g}_i\) 与最终功能重要性 \(\Delta\mathcal{M}_i\) 之间存在正相关。然后，我们通过两个干预性测试超越相关性：一个消融性测试，表明人为放大后期层的梯度幅度无法恢复后期层的重要性；另一个建设性测试，表明通过层重复在结构上增加其路径计数能够恢复该重要性。这些干预与结构性（而非幅度）瓶颈一致。最后，我们将GFA解释转化为两个实际应用：**CascadeFlow Pruning**（CFP），一种利用累积训练梯度的有效方法，其性能优于标准剪枝启发式方法；以及 **CascadeFormer**，一种随深度渐缩宽度以将模型容量与组成梯度多样性的自然流对齐的架构，在固定训练FLOPs下提高了推理效率。

我们将梯度幅度重新定义为结构性信息不平衡的代理，而非要修复的原因。我们的贡献如下：

* •我们设计了CascadeFormer，一种将GFA原则内化的架构。通过随深度渐缩网络宽度以匹配组成梯度多样性的自然流，它在相等训练FLOPs和可比较的语言困惑度下，相对于均匀基线降低了延迟并提高了吞吐量。
* •我们引入了CascadeFlow Pruning（CFP），一种利用累积训练梯度作为结构性重要性代理来剪枝层的有效方法，无需昂贵的后验分析，其性能优于标准启发式方法。
* •我们提出**梯度扇入不对称**作为层冗余的结构性解释，并在从头训练至12亿参数的模型上为其提供了相关性和干预性证据。两个互补的干预——消融性测试（人为均衡梯度范数无法恢复重要性）和建设性测试（通过层重复在结构上增加路径计数成功）——与瓶颈源于梯度的组成复杂性而非其原始幅度的观点一致。幅度是否在高秩区域之外代理扇入，以及这些动态在100B+规模上的表现，仍是开放问题。

参阅图注

图1：深层Transformer层贡献递减。来自预训练公共检查点（与本文其余部分研究的从头训练模型不同）的示意性动机。(a) 在预训练的LLaMA 13B模型中，各层之间的表征相似性随深度增加而增加，表明冗余增长。(b) 预训练的LayerSkip LLaMA 8B（一种早期退出/深度监督模型，其效应在设计上被增强）使后果变得明确：以功能重要性 \(\Delta\mathcal{M}\)（移除该层后）衡量的层重要性集中在前几层，而后几层的功能价值崩溃。

## 相关工作

##### 用于模型效率的层冗余。

深度网络表现出可被利用于压缩和更快推理的层冗余(Gromov et al., 2024 (https://arxiv.org/html/2606.26538#bib.bib8); Sun et al., 2025 (https://arxiv.org/html/2606.26538#bib.bib33); Chen et al., 2025 (https://arxiv.org/html/2606.26538#bib.bib3))。结构化剪枝会以轻微损失移除整个块(Chen et al., 2023 (https://arxiv.org/html/2606.26538#bib.bib2); Frantar and Alistarh, 2023 (https://arxiv.org/html/2606.26538#bib.bib7); Ma et al., 2023 (https://arxiv.org/html/2606.26538#bib.bib22); Xia et al., 2024 (https://arxiv.org/html/2606.26538#bib.bib39); Kim et al., 2024 (https://arxiv.org/html/2606.26538#bib.bib16); He et al., 2024 (https://arxiv.org/html/2606.26538#bib.bib14); Sun et al., 2024 (https://arxiv.org/html/2606.26538#bib.bib32))，而训练时方法如LayerDrop (Fan et al., 2020 (https://arxiv.org/html/2606.26538#bib.bib6)) 和早期退出/跳过机制 (Elhoushi et al., 2024 (https://arxiv.org/html/2606.26538#bib.bib5); Xin et al., 2020 (https://arxiv.org/html/2606.26538#bib.bib40); Liu et al., 2020 (https://arxiv.org/html/2606.26538#bib.bib20); Zhao et al., 2025 (https://arxiv.org/html/2606.26538#bib.bib45); Men et al., 2025 (https://arxiv.org/html/2606.26538#bib.bib23)) 允许动态冗余管理。这些工作记录了冗余**存在**以及如何利用它；现有的机制性解释主要将其归因于梯度**幅度**衰减，而我们提出了一个**组成性**（扇入）解释。

##### 冗余的结构根源。

残差网络(He et al., 2016a (https://arxiv.org/html/2606.26538#bib.bib12), b (https://arxiv.org/html/2606.26538#bib.bib13)) 可视为较短路径的隐式集成 (Veit et al., 2016 (https://arxiv.org/html/2606.26538#bib.bib37))，这一性质被采用Pre-LayerNorm架构的Transformer所继承(Xiong et al., 2020 (https://arxiv.org/html/2606.26538#bib.bib41); Touvron et al., 2023 (https://arxiv.org/html/2606.26538#bib.bib35))。这种结构通常导致更深层贡献极小，从而产生冗余(Takase et al., 2023 (https://arxiv.org/html/2606.26538#bib.bib34); Sun et al., 2025 (https://arxiv.org/html/2606.26538#bib.bib33); Li et al., 2025 (https://arxiv.org/html/2606.26538#bib.bib19))。另一条互补的工作线展示了架构和归一化选择如何调节跨深度的梯度传播(Wang et al., 2022 (https://arxiv.org/html/2606.26538#bib.bib38); Shleifer et al., 2021 (https://arxiv.org/html/2606.26538#bib.bib28); Li et al., 2024 (https://arxiv.org/html/2606.26538#bib.bib18))。我们的方法针对Pre-LN设置。基于这些结果，我们假设梯度信号的深度方向分配是由结构诱导而非权重幅度驱动，并为其提供了相关性和干预性证据。然后我们利用这种效应来设计更高效的架构，同时沿深度和宽度方向。关于注意力层冗余是固有且跨训练阶段稳定的观察(He et al., 2024 (https://arxiv.org/html/2606.26538#bib.bib14)) 指向了结构性而非偶然性的起源。

##### 量化层重要性。

识别冗余层需要可靠的重要性度量。幅度和一阶/二阶准则提供了强大的基线(Han et al., 2015 (https://arxiv.org/html/2606.26538#bib.bib11), 2016 (https://arxiv.org/html/2606.26538#bib.bib10); Molchanov et al., 2017 (https://arxiv.org/html/2606.26538#bib.bib24); Lee et al., 2019 (https://arxiv.org/html/2606.26538#bib.bib17); Frantar and Alistarh, 2023 (https://arxiv.org/html/2606.26538#bib.bib7))。其他方法依赖于测量冗余的影响：输出相似性（例如，相邻层之间的余弦相似度）将高相似度与低重要性相关联(Gromov et al., 2024 (https://arxiv.org/html/2606.26538#bib.bib8); Yang et al., 2024 (https://arxiv.org/html/2606.26538#bib.bib43); Jiang et al., 2025 (https://arxiv.org/html/2606.26538#bib.bib15); Chen et al., 2025 (https://arxiv.org/html/2606.26538#bib.bib3); Song et al., (https://arxiv.org/html/2606.26538#bib.bib31))，而基于扰动的度量如单层移除时的 \(\Delta \text{PPL}\) 直接量化其功能贡献(Kim et al., 2024 (https://arxiv.org/html/2606.26538#bib.bib16))。基于梯度的信号已被用作重要性的局部替代，但通常以启发式形式出现（例如，显著性 (Smilkov et al., 2017 (https://arxiv.org/html/2606.26538#bib.bib29)); Selvaraju et al., 2020 (https://arxiv.org/html/2606.26538#bib.bib27), Taylor准则 (Yang et al., 2023 (https://arxiv.org/html/2606.26538#bib.bib44); Ma et al., 2023 (https://arxiv.org/html/2606.26538#bib.bib22))）。我们提出梯度动力学不仅仅是重要性的代理：通过组成性扇入不对称，它们可能有助于解释最终的功能层次结构，并且在我们的从头训练模型（高达12B参数）上预测了该层次结构。我们为此提供了相关性和干预性证据。

## 梯度扇入不对称

##### 现象。

我们提出**梯度扇入不对称**（GFA）——深度残差架构中梯度信号组成的一种结构性失衡——作为层冗余的一种解释。这种不对称的产生是因为浅层接收从众多下游计算路径聚合而来的梯度，而深层则从逐渐变少的集合中接收梯度。我们假设扇入中的这种差异塑造了所得梯度的**组成多样性**。在此解释下，深层梯度在组成上更简单，因此信息更贫乏，导致权重更新效果较差。其限制是结构性的，而非幅度问题。仅仅重新缩放梯度的优化器无法提供缺失的组成信息。

##### 残差网络中的GFA。

我们将Pre-LN Transformer定义为 \(x_{l+1} = x_l + F_l(x_l)\)，其中 \(F_l\) 代表块的完整变换，包括LayerNorm和子层。其输入处的梯度 \(g_l \equiv \partial \mathcal{L} / \partial x_l\) 展开为所有下游块上的累积和：

\[
g_l = g_N + \sum_{k=l}^{N-1} J_k^T g_{k+1},
\tag{1}
\]

其中 \(J_k\) 是第 \(k\) 个块变换的雅可比矩阵。这种结构意味着层 \(l\) 的梯度聚合了来自恒等路径和所有后续功能路径的信号。我们将这些聚合信号的数量称为梯度扇入 \(\phi_l\)，它随深度线性递减（由图2中的实线路径可视化）。形式化计数规则见附录B.1。

##### 通过深度监督放大。

采用深度监督的架构（如LayerSkip）放大了GFA。通过在中间层引入辅助损失头，它们创建了新的梯度层次结构，这些梯度反向传播到更浅的层。这将线性扇入差异转变为二次差异（如图2中额外的虚线路径所示），将梯度信息集中在最浅的层。附录B.1给出了完整的推导。因此，深度监督加剧了结构性失衡而非解决它。

##### 分析与预测。

我们的扇入代理并非完全展开的 \(2^{N-l}\) 条组合路径。我们的代理衡量的是在某一层聚合的不同信号通道的数量，而非它们的信息质量（例如，正交性），这仍然是一个实证问题。这种区别激发了我们核心假设：**梯度范数可能是一个症状，而非根本因素。** 在此解释下，深层中较小的梯度范数反映了其对组成信息访问的限制。像AdamW (Loshchilov and Hutter, 2018 (https://arxiv.org/html/2606.26538#bib.bib21)) 这样的优化器可以重新缩放这个梯度，但它无法创造结构上缺失的组成信息。从这一解释出发，我们推导出一个可检验的预测：在结构上增加一层下游梯度扇入的架构变化应能增加其功能重要性。我们直接用虚拟深度测试这一预测，并用该解释来激发我们的方法。

参阅图注

图2：梯度扇入不对称源于梯度路径的结构性失衡。展开视图显示，任何层 \(l\) 的梯度是来自恒等路径和所有后续功能路径的信号之和（式1）。