decode

本文解释了AI模型中预填充和解码阶段的工作原理，以及它们对生成速度和性能的影响，帮助理解AI响应延迟的成因。

文章详细介绍了 FlashAttention-4 的优化技术，包括用于解码的 S/P 乒乓方法以重叠操作，在 NVIDIA Blackwell GPU 上实现了高达 16% 的性能提升。

本文介绍了双流Transformer，一种通过添加辅助流进行续写预测、同时共享权重和主KV缓存来解耦预填充和解码计算的架构，从而实现分阶段计算分配并提高效率。

对 Ling-3.0-flash (124B) 在单台 DGX Spark 上单次响应生成 15,128 个 token 的观察，解码吞吐稳定在约 35.6 tok/s，凸显了长上下文解码性能。

一位用户报告称，在 Llama-CPP 中使用并行子代理时，解码性能很好，但单个代理的 prefill（例如处理网络搜索）会使所有其他代理停滞不前，并请求调优建议。

llama.cpp b9966 引入了一个针对 -sm tensor 模式的修复，该修复缓存了正则表达式模式，消除了解码线程中每个张量每个标记的 29 次重新编译，从而显著减少了 CPU 开销。

解释LLM推理的两个阶段——预填充和解码，详细说明GPU瓶颈如何从预填充时的计算受限转变为解码时的内存受限，以及KV缓存的重要性。

Robert Nishihara 强调了一篇关于解耦RL工作负载的论文，表明使用计算优化的H800进行预填充，带宽优化的H20进行解码，可以分别将rollout时间减少21-51%和47%，强调没有单一硬件类型适合所有阶段。

Chamath 解释了 AI 计算的两个关键阶段：prefill（计算密集型，利于 Nvidia 等并行 GPU）和 decode（内存带宽受限，依赖于扫描已生成的 token）。

Turbo3 在32K上下文下，相比 fp8 解码速度提升了5%（每秒 tokens 数），这是量化或模型优化方面的性能改进。