transformer-limitations

解释了为什么由于KV缓存随上下文长度和并发用户数扩展，LLM推理越来越受内存带宽限制，以及像vLLM和PagedAttention这样的系统如何提高内存利用率。