标签
Minima-KV 提出了一种基于混合格式分页注意力的保持保留KV缓存压缩方法，旨在减少长上下文LLM服务中的内存占用，并在基准测试中评估了其性能。
本文解释了提示缓存如何在LLM推理中使用分页注意力和前缀缓存工作，并提供了开发者优化性能的实用技巧。
PagedAttention将虚拟内存概念应用于语言模型中的KV cache，减少内存碎片化，并使推理引擎能够在每个GPU上服务2-4倍的用户。
深入探讨vLLM用于高吞吐量LLM推理的架构与组件，涵盖调度、分页注意力、连续批处理、高级特性、扩展、服务及基准测试。
一位开发者分享了他们在推理工程的第6天，编写了一个用于一维卷积的CUDA内核，解释了PagedAttention的内存效率，并概述了GPU内存层次结构（全局、寄存器、本地、常量、共享）。
推荐了一篇关于LLM服务、推理基础以及VLLM（涵盖分页注意力和连续批处理）的介绍。
Tiny-vLLM是一个高性能的LLM推理引擎，采用C++和CUDA实现，提供连续批处理和PagedAttention等特性，并作为教育资源。
本文介绍了 PagedAttention，这是一种受虚拟内存分页技术启发的算法，以及 vLLM，这是一种通过减少键值缓存中的内存碎片来显著提高大语言模型吞吐量的服务系统。