orthogonal-projection

本文介绍 MAPL，一种针对流水线并行中激活值进行学习型正交压缩的方法，通过 Stiefel 流形约束和逐阶段分解锚定嵌入，在保持性能的同时降低通信开销。