weight-inconsistency

介绍 PACI，一种无气泡的异步流水线并行训练方法，通过局部梯度累积来约束前向/后向权重不一致性，在保持稳定性和内存使用不变的情况下，实现更高的吞吐量和更快的达到目标精度时间。