async-batching

本文解释了如何为LLM推理实现异步连续批处理，将CPU批处理准备与GPU计算重叠，以最大化利用率并减少空闲时间。