论文页面 - 通过 PagedAttention 实现大型语言模型服务的高效内存管理

来源: https://huggingface.co/papers/2309.06180

摘要

PagedAttention 算法和 vLLM 系统通过高效管理内存并减少键值缓存（KV cache）中的浪费，提升了大型语言模型的吞吐量。

大型语言模型（LLM）的高吞吐量服务需要一次性批处理足够多的请求。然而，现有系统面临困境，因为每个请求的键值缓存（KV cache）内存巨大，且会动态增长和缩小。如果管理不当，这部分内存会因碎片化和冗余复制而显著浪费，从而限制批处理大小。为了解决这一问题，我们提出了 PagedAttention，这是一种受操作系统中经典虚拟内存和分页技术启发的注意力算法。在此基础上，我们构建了 vLLM，一个 LLM 服务系统，实现了（1）KV cache 内存近乎零浪费，以及（2）请求内部和请求之间的 KV cache 灵活共享，以进一步降低内存使用。我们的评估表明，与 FasterTransformer 和 Orca 等最先进系统相比，vLLM 在相同延迟水平下，将流行 LLM 的吞吐量提高了 2-4 倍。在序列更长、模型更大以及解码算法更复杂的情况下，这种提升更为显著。vLLM 的源代码公开可用，地址为 https://github.com/vllm-project/vllm

查看 arXiv 页面 (https://arxiv.org/abs/2309.06180) 查看 PDF (https://arxiv.org/pdf/2309.06180) GitHub79.4kauto (https://github.com/vllm-project/vllm) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2309.06180)

在你的 agent 中获取这篇论文：

hf papers read 2309\.06180

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 2

theonlyengine/Flash-attention1 更新于 2024 年 8 月 7 日 (https://huggingface.co/theonlyengine/Flash-attention1)

enfinity7B/apac 更新于 17 天前 (https://huggingface.co/enfinity7B/apac)

引用此论文的数据集 1

TheBlueScrubs/TheBlueScrubs-v1 预览• 更新于 2025 年 2 月 24 日 • 37 • 14 (https://huggingface.co/datasets/TheBlueScrubs/TheBlueScrubs-v1)

引用此论文的 Space 1

包含此论文的合集 27

浏览包含此论文的 27 个合集 (https://huggingface.co/collections?paper=2309.06180)