activation-fusion

本文介绍了基于 CUTLASS 的内核，将 SwiGLU 激活与 GeMM 在切片级进行融合，在 NVIDIA H100 上实现了高达 2.47 倍的加速，以用于高效 LLM 推理。