batch-serving

这个线程推荐了三篇掌握LLM推理的关键论文：PagedAttention、Sarathi-Serve和SGLang，它们介绍了高效的内存管理、分块预填充和结构化生成技术，这些技术被用于现代推理引擎如vLLM和TensorRT-LLM中。