Tag
Echo提出一种误差补偿的4-bit all-reduce通信方法，用于LLM的张量并行训练与推理，在A100上比16-bit NCCL快2.09×，同时将累积误差控制在与模型深度无关的范围内，保持接近16-bit的模型精度。