标签
Echo提出一种带误差补偿的4位全归约通信方法，用于大语言模型的张量并行训练与推理。在A100上，该方法比16位NCCL快2.09倍，同时将累积误差控制在与模型深度无关的范围内，保持接近16位的模型精度。