浅层预填，深层解码：通过层非对称 KV 可见性实现高效的长上下文推理

Hugging Face Daily Papers 论文
llm-optimization inference-efficiency kv-cache long-context decoder-only speed-method

摘要

本文介绍了 SPEED，一种层非对称 KV 可见性策略，通过仅在预填阶段的下层处理提示 token，同时在解码阶段保持全深度注意力，从而降低长上下文推理的成本。

在仅解码器架构的大型语言模型中，长上下文推理成本高昂，因为长提示需要在预填（Prefill）阶段进行处理，在每一层进行缓存，并在自回归解码（Decode）阶段被重复关注。我们提出了“浅层预填，深层解码”（Shallow Prefill, dEEp Decode，简称 SPEED），这是一种阶段非对称的 KV 可见性策略。该策略仅在下层实例化非锚点提示 token 的 KV 状态，同时保持解码阶段 token 的全深度关注。与以往旨在使上层提示 KV 状态更易于存储或构建的方法不同，SPEED 完全从上层解码的可见性集中移除了预填 token。凭借最小的开头（BoS）锚点机制，这一简单改动在减少长上下文成本的同时，保留了广泛的基准测试性能。在一项针对 Llama-3.1-8B 模型的受控指令微调研究中，SPEED 仅使用 75% 的层来处理预填 token，在 OLMES 风格基准测试中达到了 51.2 的平均分，而全深度基线为 51.4 分；同时，在 128K 上下文长度下，首 token 延迟（TTFT）改善了 33%，每 token 输出时间（TPOT）改善了 22%，活跃 KV 内存减少了 25.0%。逐层诊断表明，这种截断保留了全深度模型中主要的提示选择和表征稳定化区域。这些结果表明，当解码阶段 token 保持全深度时，长上下文提示 token 无需始终作为全深度的 KV 缓存对象存在。
查看原文
查看缓存全文

缓存时间: 2026/05/11 07:19

论文页面 - Shallow Prefill, Deep Decoding: 通过层非对称 KV 可见性实现高效长上下文推理

来源: https://huggingface.co/papers/2605.06105

摘要

SPEED 是一种阶段非对称的 KV 可见性策略，通过在预填充（Prefill）期间仅在底层处理提示词（prompt）token，同时在解码（Decoding）期间保持全深度注意力，从而降低纯解码器语言模型中的长上下文推理成本。

纯解码器语言模型 (https://huggingface.co/papers?q=decoder-only%20language%20models) 的长上下文推理成本高昂，因为长提示词在预填充 (https://huggingface.co/papers?q=Prefill) 阶段被处理，在每一层进行缓存，并在自回归解码 (https://huggingface.co/papers?q=Decode) 阶段被反复关注。我们引入了 Shallow Prefill (https://huggingface.co/papers?q=Prefill) dEEp Decode (https://huggingface.co/papers?q=Decode) (SPEED)，这是一种阶段非对称的 KV 可见性策略 (https://huggingface.co/papers?q=KV-visibility%20policy)，它仅在较低层实例化非锚点提示词 token 的 KV 状态 (https://huggingface.co/papers?q=prompt-token%20KV%20states)，同时保持解码 (https://huggingface.co/papers?q=Decode) 阶段的 token 为全深度。与以往使上层提示词 KV 状态存储或构建更廉价的方法不同，SPEED 完全从上层解码 (https://huggingface.co/papers?q=Decode) 的可见性集中移除了预填充 (https://huggingface.co/papers?q=prefill) token。借助最小的起始符（BoS）锚点，这一简单更改在保留广泛基准测试质量的同时降低了长上下文成本。在针对 Llama-3.1-8B 的指令微调控制研究中，仅使用 75% 的层来处理预填充 (https://huggingface.co/papers?q=prefill) token 的 SPEED 在 OLMES 风格基准测试中达到了 51.2 的平均分数，而全深度基线为 51.4；同时在 128K 上下文中，首字生成时间（TTFT）(https://huggingface.co/papers?q=TTFT) 提升了 33%，每输出词元时间（TPOT）(https://huggingface.co/papers?q=TPOT) 提升了 22%，活跃 KV 内存减少了 25.0%。分层诊断 (https://huggingface.co/papers?q=Layer-wise%20diagnostics) 表明，这种截断保留了全深度模型的主要提示词选择和表示稳定化区域。这些结果表明，当解码 (https://huggingface.co/papers?q=Decode) 阶段的 token 保持全深度时，长上下文提示词 token 无需始终作为全深度的 KV 缓存 (https://huggingface.co/papers?q=KV-cache) 对象存在。

查看 arXiv 页面 (https://arxiv.org/abs/2605.06105) 查看 PDF (https://arxiv.org/pdf/2605.06105) 添加到集合 (https://huggingface.co/login?next=%2Fpapers%2F2605.06105)

在您的 Agent 中获取此论文：

hf papers read 2605\.06105

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.06105 以从此页面建立链接。

引用此论文的数据集 0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.06105 以从此页面建立链接。

引用此论文的 Spaces 0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.06105 以从此页面建立链接。

包含此论文的集合 1

相似文章

SparDA：用于高效长上下文 LLM 推理的稀疏解耦注意力

arXiv cs.CL

SparDA 提出了一种解耦稀疏注意力架构，通过添加轻量级"Forecast"投影来预测未来的 KV 缓存需求，从而实现从 CPU 到 GPU 的预取（lookahead prefetching），并降低选择开销。在基于稀疏预训练的 8B 模型上，其 prefill 速度最高可提升 1.25×，decode 速度最高可提升 1.7×，相比非 offload 基线，decode 吞吐量最高可提升 5.3×。