model-serving

一份实用指南，解释了如何根据参数量和量化级别计算LLM的VRAM需求，以及KV缓存、激活值和批处理带来的额外开销。

文章指出，同一AI模型在不同的推理栈（如调度、量化、推测解码）下可能表现出不同的行为，尤其是在长会话或智能体工作流中，使得服务方式几乎与模型本身同样重要。

vLLM v0.19.1rc0 版本包含对 Gemma4 实现的清理，这是对该流行的开源大语言模型推理与服务库的常规维护与优化的一部分。