高效LLM推理的周期步进层跳过严格对照审计：ConfLayers与SWIFT及训练路由替代方案补充分析

# 周期步层跳过方法的高匹配审计：用于高效大语言模型推理的 ConfLayers 与 SWIFT 对比，及训练路由替代方案补充分析
来源：https://arxiv.org/html/2608.28846
###### 摘要
用于高效大语言模型推理的层跳过方法，会以某种粒度决定对给定输入执行哪些 Transformer 层。我们对两种在线推理时做出此决策、并在每隔几个生成步重新评估的*周期步、基于搜索*的方法，进行了一次高匹配度的、三随机种子的审计：一种基于置信度门控的早期退出基线方法（ConfLayers）和一种真正的自推测解码方法（SWIFT，Xia et al. 2024 (https://arxiv.org/html/2608.28846#bib.bib2)），并将其与普通自回归解码进行对比。评估涵盖两种模型规模（Qwen2.5-0.5B 和 Qwen2.5-1.5B，Yang et al. 2024 (https://arxiv.org/html/2608.28846#bib.bib14)）和两种任务（GSM8K 推理，Cobbe et al. 2021 (https://arxiv.org/html/2608.28846#bib.bib16)；CNN/DailyMail 摘要，Nallapati et al. 2016 (https://arxiv.org/html/2608.28846#bib.bib17); See et al. 2017 (https://arxiv.org/html/2608.28846#bib.bib18)）。SWIFT 在四个测试组合中的三个上准确度最高；ConfLayers 在所有组合上均被压制，在 1.5B 模型上的 GSM8K 任务中差距尤为显著。一旦将在线搜索开销正确地从纯推理成本中分离出来——我们引入并验证了这种分解方法——SWIFT 在所有四个组合上的真实推理速度都快于 ConfLayers（快 5–21%），从而在三个组合中逆转了朴素的墙钟时间排名；ConfLayers 的搜索开销小且稳定（占成本的 1–2%），而 SWIFT 的开销更大且不同随机种子间差异显著（高达 28.7%）。我们还考察了两种*训练路由*方法——LayerRoute（Sikdar, 2026 (https://arxiv.org/html/2608.28846#bib.bib1)）（一种按序列、基于输入的硬门控）和 LayerDrop（Fan et al., 2020 (https://arxiv.org/html/2608.28846#bib.bib7)）（一种固定的、不依赖输入的剪枝模式）——作为补充分析，而非头对头比较，因为这两者的决策粒度从根本上比上述周期步方法更粗。在经过验证的协议下进行测量——真正的按输入门控、真正的完整模型基线和真正的推理时计算跳过——两种训练路由方法均显示出适度的、真实的速度提升（1.08–1.33 倍），但准确度远低于周期步方法，包括 LayerRoute 在 1.5B 模型上的 GSM8K 任务中准确度近乎崩溃（三个种子的平均精确匹配仅为 0.003）。我们发布了完整的审计协议作为高效匹配效率比较的模板。

## 1 引言
用于高效大语言模型推理的层跳过方法共享一个共同形态——为某些输入单元决定是否执行给定的 Transformer 层——但在*何时*以及*以何种粒度*做出此决策上存在巨大差异。置信度门控的早期退出方法对一个逐 token 的置信度信号进行阈值判断，该信号本身是在线调整的（Schuster et al., 2022 (https://arxiv.org/html/2608.28846#bib.bib8); Schuster et al., 2021 (https://arxiv.org/html/2608.28846#bib.bib22); Teerapittayanon et al., 2016 (https://arxiv.org/html/2608.28846#bib.bib23)）；自推测解码方法使用同一模型的轻量化版本起草候选续写内容，定期重新评估起草配置，并在一次批处理传递中针对完整模型验证草稿（Leviathan et al., 2023 (https://arxiv.org/html/2608.28846#bib.bib4); Chen et al., 2023 (https://arxiv.org/html/2608.28846#bib.bib5); Xia et al., 2024 (https://arxiv.org/html/2608.28846#bib.bib2)）。这两类方法都在*在线*模式下做出跳过决策，并每隔几个生成步重新检查一次。另一类方法，即*训练路由*，则在离线状态下学习一个固定策略——一个门控、路由器或剪枝掩码——因此无需在线搜索（Fan et al., 2020 (https://arxiv.org/html/2608.28846#bib.bib7); Raposo et al., 2024 (https://arxiv.org/html/2608.28846#bib.bib6); Elbayad et al., 2020 (https://arxiv.org/html/2608.28846#bib.bib9)）；该策略可以粗糙到对每个输入应用一个固定的模式，也可以精细到为每个序列重新计算决策。

这种粒度差异决定了公平比较的含义：一个每 25-30 个 token 重新评估其配置的方法，回答的是一个与为整个序列做出单一决策，或完全不适应输入的方法截然不同的问题。因此，我们的主要贡献是将比较限定在共享相同决策机制的方法上——ConfLayers 和 SWIFT，两者都是周期步且基于搜索的——在匹配的随机种子、任务和规模下进行审计，并采用一种正确的成本核算方法，将在线搜索与其加速的推理过程分离开来。这种混杂在方法论上具有重要意义：一旦排除了搜索开销，在我们测试的四个任务/规模组合中，两种方法的纯推理速度排名在三个组合中相对于它们的朴素墙钟时间排名发生了逆转。

我们还考察了两种代表性的训练路由方法——LayerRoute（Sikdar, 2026 (https://arxiv.org/html/2608.28846#bib.bib1)）和 LayerDrop（Fan et al., 2020 (https://arxiv.org/html/2608.28846#bib.bib7)）——作为*补充分析*，而非将其纳入主要比较，因为它们的决策粒度与 ConfLayers 和 SWIFT 不匹配：LayerRoute 为每个序列做出一次门控决策；LayerDrop 则采用一个固定模式，从不随输入变化。将其中任何一种方法视为与每 25 个 token 重新搜索一次的方法直接对等，都会夸大比较所能声称的内容。我们在一个经验证的协议下对两者进行了测量，确保其路由决策被真实执行——真正的按输入门控、真正的完整模型基线以及真正的推理时计算跳过——并直接报告所得数字，包括一个我们事先未预料到的结果。

我们的贡献包括：
- • 一项高匹配度的、3 个随机种子、2 任务×2 规模的比较，对比了两种周期步、基于搜索的层跳过方法（ConfLayers、SWIFT）与普通解码，通过路由决策粒度的分类论证了为何这是正确的主比较集合（第 2 节 (https://arxiv.org/html/2608.28846#S2)）。
- • 一种搜索开销分解方法，将每种方法的纯推理成本与其在线搜索成本分离开来，揭示了在四个组合中的三个上，朴素的墙钟时间比较逆转了 SWIFT 和 ConfLayers 的真实推理速度排名（第 6.2.1 节 (https://arxiv.org/html/2608.28846#S6.SS2.SSS1)）。
- • 对两种训练路由方法（LayerRoute、 LayerDrop）在不同决策粒度下的补充分析，使用的测量协议经验证能在整个过程中执行真正的按输入门控、真正的完整模型基线和真正的推理时计算跳过（第 7 节 (https://arxiv.org/html/2608.28846#S7)）。
- • 一个从原理出发将 LayerRoute 移植到 TinyLlama-1.1B（Zhang et al., 2024 (https://arxiv.org/html/2608.28846#bib.bib15)）的案例，显示其关于工具调用与规划跳过差异的头条结论在不同架构间符号反转，这被报告为真正的泛化局限性（第 8 节 (https://arxiv.org/html/2608.28846#S8)）。
- • 一个可复用的、高匹配度的审计协议，包括冻结回放搜索开销分解，适用于未来的效率比较。

## 2 层跳过决策粒度分类
表 1 (https://arxiv.org/html/2608.28846#S2.T1) 沿我们主张决定可比性的维度，总结了本文讨论的四种方法：决策做出的频率以及基于何种输入单位。

表 1：按决策粒度分类的层跳过方法。ConfLayers 和 SWIFT 共享相同机制（周期步、基于搜索），构成我们的主要比较；LayerRoute 和 LayerDrop 占据两种不同的、更粗的机制，作为补充分析而非头对头对等方法报告。ConfLayers 和 SWIFT 都在线决策，每隔 25-30 个生成步重新搜索其配置，并且通常提前收敛，在会话剩余部分冻结所找到的配置（第 6.2.1 节 (https://arxiv.org/html/2608.28846#S6.SS2.SSS1)）；这一共享机制使得它们之间的匹配比较变得有意义。LayerRoute 设计为每个输入序列只做一次门控决策，使用该序列自身的隐藏状态——这是一种更粗的、输入条件的机制，在实际生成中，如果没有显式的冻结机制，可能漂移至持续更新行为（第 7.2 节 (https://arxiv.org/html/2608.28846#S7.SS2)）。LayerDrop 则更为粗糙：其剪枝模式在训练时确定，并完全相同地应用于每个输入，毫无适应性。在相同基础上比较 ConfLayers/SWIFT 与 LayerRoute/LayerDrop 等同于比较回答不同问题的方法；因此我们将后者作为补充分析呈现，并明确说明这一区别。

## 3 相关工作
训练路由与结构化跳过。LayerDrop（Fan et al., 2020 (https://arxiv.org/html/2608.28846#bib.bib7)）通过结构化丢弃训练 Transformer 对层移除具有鲁棒性，使得推理时无需重训练即可减少深度；我们在第 7 节 (https://arxiv.org/html/2608.28846#S7) 中直接评估了它。深度自适应 Transformer（Elbayad et al., 2020 (https://arxiv.org/html/2608.28846#bib.bib9)）和 PonderNet（Banino et al., 2021 (https://arxiv.org/html/2608.28846#bib.bib11)）扩展了自适应计算时间（Graves, 2016 (https://arxiv.org/html/2608.28846#bib.bib10)）以学习每个示例的停止策略。混合深度（Mixture-of-Depths）（Raposo et al., 2024 (https://arxiv.org/html/2608.28846#bib.bib6)）通过 top-k 路由器每层路由固定比例的 token，比 LayerRoute 的按序列门控粒度更细（token 级别）；我们此处不评估它。事后深度剪枝工作，如 ShortGPT（Men et al., 2024 (https://arxiv.org/html/2608.28846#bib.bib25)）和 Gromov et al. (2024) (https://arxiv.org/html/2608.28846#bib.bib24) 证实，后序的 Transformer 层通常对输出质量的贡献不成比例地少，与任何路由机制无关。

置信度门控与基于搜索的早期退出。CALM（Schuster et al., 2022 (https://arxiv.org/html/2608.28846#bib.bib8)）及其早期变体（Schuster et al., 2021 (https://arxiv.org/html/2608.28846#bib.bib22)）在 token 前向传播中，一旦某层的置信度度量超过阈值即退出；BranchyNet（Teerapittayanon et al., 2016 (https://arxiv.org/html/2608.28846#bib.bib23)）将相同思想应用于卷积网络。我们的 ConfLayers 基线遵循这一家族，辅以对逐层阈值的在线贝叶斯优化搜索（第 5 节 (https://arxiv.org/html/2608.28846#S5)）。

推测与自推测解码。推测解码（Leviathan et al., 2023 (https://arxiv.org/html/2608.28846#bib.bib4); Chen et al., 2023 (https://arxiv.org/html/2608.28846#bib.bib5); Stern et al., 2018 (https://arxiv.org/html/2608.28846#bib.bib21)）使用轻量模型起草多个 token 并在一次批处理传递中验证它们，后续工作探索了树形结构验证（Miao et al., 2024 (https://arxiv.org/html/2608.28846#bib.bib30); Cai et al., 2024 (https://arxiv.org/html/2608.28846#bib.bib29)）和使用轻量适配器作为起草器（Du et al., 2024 (https://arxiv.org/html/2608.28846#bib.bib28)）。SWIFT（Xia et al., 2024 (https://arxiv.org/html/2608.28846#bib.bib2)）通过使用目标模型的一个层跳过版本进行自起草来消除对单独起草模型的需求，该版本是在线发现而非离线训练的。

计算高效扩展与剪枝。我们对与规模相关的行为的讨论，与计算最优扩展（Hoffmann et al., 2022 (https://arxiv.org/html/2608.28846#bib.bib20)）以及诸如 LLM-Pruner（Ma et al., 2023 (https://arxiv.org/html/2608.28846#bib.bib27)）和 Wanda（Sun et al., 2024 (https://arxiv.org/html/2608.28846#bib.bib26)）等结构化剪枝工作相关，后者同样发现可移除的冗余性与规模相关。

## 4 背景：方法形式化
我们在此形式化 ConfLayers 和 SWIFT；LayerRoute 和 LayerDrop 的形式化见补充分析（第 7 节 (https://arxiv.org/html/2608.28846#S7)）。

### 4.1 ConfLayers 基线
ConfLayers（Amer et al., 2026 (https://arxiv.org/html/2608.28846#bib.bib3)）不需要训练：它在固定的预训练骨干网络上包装一个逐层的置信度规则和一个在线阈值搜索。

置信度信号与退出规则。在第 l 层，一个置信度估计将当前隐藏状态投影到词汇表，并取最高概率，
c_l(h_l) = \max_v \mathrm{softmax}(W_{lm} h_l)_v, c_{l}(h_{l})=\max_{v}\;\mathrm{softmax}\!\left(W_{lm}\,h_{l}\right)_{v}, (1)
其中 W_{lm}W_{lm} 是共享的、冻结的语言模型头。模型在第一个超过阈值 τ_l\tau_{l} 的层退出，
z_l = \mathbb{1}\!\left[c_{l}(h_{l}) \geq \tau_{l}\right], \quad \text{exit at } l^{*} = \min\{\,l: z_{l}=1\,\}, z_{l}=\mathbb{1}\!\left[c_{l}(h_{l})\geq\tau_{l}\right],\qquad\text{exit at }l^{*}=\min\{\,l:z_{l}=1\,\}, (2)
直接输出 W_{lm}h_{l^{*}}W_{lm}h_{l^{*}} 作为输出 logits，跳过所有 l > l^{*}l > l^{*}（图 5 (https://arxiv.org/html/2608.28846#A1.F5)）。

在线阈值搜索。τ = (τ_1, ..., τ_L)\tau=(\tau_{1},\dots,\tau_{L}) 不是通过梯度下降学习的；由于从 τ\tau 到质量和延迟的映射是一个黑箱、不可微的函数，τ\tau 通过贝叶斯优化在线调整，
τ^{*} = \argmin_{\tau \in [0,1]^{L}} \mathbb{E}_{x}\!\left[\mathrm{Cost}(x; \tau)\right] \quad \text{s.t.} \quad \mathbb{E}_{x}\!\left[\mathrm{QualityDrop}(x; \tau)\right] \leq \epsilon, \tau^{\star}=\argmin_{\tau\in[0,1]^{L}}\;\mathbb{E}_{x}\!\left[\mathrm{Cost}(x;\tau)\right]\quad\text{s.t.}\quad\mathbb{E}_{x}\!\left[\mathrm{QualityDrop}(x;\tau)\right]\leq\epsilon, (3)
提出候选的 τ\tau 向量，在留出的探针集上评估，并更新代理成本-质量模型。这种搜索就是我们在第 6.2.1 节 (https://arxiv.org/html/2608.28846#S6.SS2.SSS1) 中隔离为“搜索开销”的部分：用于选择 τ\tau 的墙钟时间，区别于方程 1 (https://arxiv.org/html/2608.28846#S4.E1)–2 (https://arxiv.org/html/2608.28846#S4.E2) 一旦确定后的前向传播成本。

### 4.2 SWIFT 基线
SWIFT（Xia et al., 2024 (https://arxiv.org/html/2608.28846#bib.bib2)）也不需要训练，但它不是提前退出，而是使用目标模型的轻量化版本起草多个 token，并针对完整模型进行无损验证。

自起草模型。给定一个跳过集合 S ⊆ {1,...,L}S⊆\{1,\dots,L\}，自起草模型 M_S\mathcal{M}_{S} 是 M\mathcal{M} 将其中每个层 l ∈ Sl \in S 替换为恒等直通，
h_l^{(S)} = \begin{cases} h_{l-1}^{(S)} & l \in S \quad \text{(skipped)} \\ f_l\!\left(h_{l-1}^{(S)}\right) & l \notin S \quad \text{(executed)} \end{cases}, h_{l}^{(S)}=\begin{cases}h_{l-1}^{(S)}&l\in S\quad\text{(skipped)}\\ f_{l}\!\left(h_{l-1}^{(S)}\right)&l\notin S\quad\text{(executed)}\end{cases}, (4)
不需要额外参数，因为 M_S\mathcal{M}_{S} 重用了 M\mathcal{M} 本身的权重（图 6 (https://arxiv.org/html/2608.28846#A1.F6)）。

起草后验证。M_S\mathcal{M}_{S} 自回归地起草 k 个候选 token，M\mathcal{M} 在一次批处理传递中验证所有 k 个位置。每个起草 token 以如下概率被接受
\min\!\left(1, \; \frac{P_{\mathcal{M}}(\tilde{x}_{t+i} \mid x_{\leq t+i-1})}{P_{\mathcal{M}_{S}}(\tilde{x}_{t+i} \mid x_{\leq t+i-1})}\right), \min\!\left(1,\;\frac{P_{\mathcal{M}}(\tilde{x}_{t+i}\mid x_{\leq t+i-1})}{P_{\mathcal{M}_{S}}(\tilde{x}_{t+i}\mid x_{\leq t+i-1})}\right), (5)
遵循原始