model-parallelism

本线程解释了GPipe，这是一篇关于使用微批处理和激活检查点技术跨多个GPU扩展大模型的流水线并行论文。