如果你想掌握 LLM 推理，从这三篇论文开始。它们引入了许多当今最快推理引擎背后的核心思想。

1. PagedAttention (vLLM) arXiv: 2309.06180 https://arxiv.org/abs/2309.06180

   为何重要 • 高效的 KV 缓存内存管理 • 受虚拟内存启发的分页机制 • 近零内存碎片化 • 服务吞吐量提升 2–4 倍 • 现代 vLLM 服务的基础

2. Sarathi-Serve arXiv: 2403.02310 https://arxiv.org/abs/2403.02310

   为何重要 • 分块预填充 • 无阻塞调度 • 更优的吞吐量-延迟权衡 • 更高的 GPU 利用率 • 面向生产推理的更智能批处理

3. SGLang：结构化语言模型程序的高效执行 NeurIPS 2024 https://arxiv.org/abs/2312.07104

   为何重要 • 结构化生成 • RadixAttention（基数注意力） • 前缀 / KV 缓存复用 • 连续批处理 • 快速结构化解码 • 高性能 LLM & VLM 服务

这三篇论文阐释了 vLLM、SGLang、TensorRT-LLM 以及现代生产级 LLM 服务背后的许多核心思想。

利用 PagedAttention 实现大语言模型服务的高效内存管理

来源：https://arxiv.org/abs/2309.06180 查看 PDF（https://arxiv.org/pdf/2309.06180）

摘要：大语言模型（LLM）的高吞吐量服务要求一次性批量处理足够多的请求。然而，现有系统面临困境，因为每个请求的键值缓存（KV cache）内存巨大，且会动态增长和缩减。若管理不当，这部分内存会因碎片化与冗余重复而严重浪费，从而限制批处理大小。为解决此问题，我们提出 PagedAttention，一种受操作系统经典虚拟内存与分页技术启发的注意力算法。在此基础上，我们构建了 vLLM，一个 LLM 服务系统，实现了：（1）KV 缓存内存的近零浪费；（2）请求内部和请求之间 KV 缓存的灵活共享，进一步降低内存使用。我们的评估表明，与 FasterTransformer 和 Orca 等最先进系统相比，vLLM 在相同的延迟水平下，将主流 LLM 的吞吐量提升了 2–4 倍。在更长的序列、更大的模型以及更复杂的解码算法下，提升效果更为显著。vLLM 的源代码已公开于以下链接：https://github.com/vllm-project/vllm

提交历史

来自：Woosuk Kwon [查看电子邮件（https://arxiv.org/show-email/2fbc22fc/2309.06180）] [v1] 2023 年 9 月 12 日，星期二，12:50:04 UTC（831 KB）