标签
该论文提出用短多项式（degree-3/4 BF16）替代 LLM 中原生的 sigmoid、tanh 和 SiLU 超越函数求值，在 NVIDIA GB200 上将完整训练步吞吐提升最高 8.0%，同时保持相近的训练损失和模型精度。