标签
ERASE 引入了一种新颖的训练调度，通过分离子图将反向传播与前向工作重叠，在大规模推荐系统中将吞吐量提高高达 9.51%，同时保持模型性能。
本文解释了如何为LLM推理实现异步连续批处理，将CPU批处理准备与GPU计算重叠，以最大化利用率并减少空闲时间。