decode-phase

一篇介绍连续批处理的博客文章，该技术通过动态地将新请求添加到已完成请求的批次中，持续保持GPU忙碌并减少空闲时间，从而提高LLM服务吞吐量。