标签
LazyTrain 是一个研究系统，通过将检查点选择、激活放置、重计算以及 CPU-GPU-NVMe 通信重叠建模为混合整数调度问题，优化有限硬件上的大语言模型训练，相比匹配基线实现了约 1.24 倍的 TFLOPS 提升。