标签
提出了一种基于机制驱动的监测器，用于预判检测LLM训练不稳定性，通过从低精度闪光注意力（flash attention）和MoE路由器中提取内部信号，使得能在损失发散前数千步进行检测。
一种加速矩阵乘法的技术，适用于 M 和 N 较小而 K 较大的情况（如 MoE routers 和 small-batch decoding），通过分解 K 并并行运行部分 GEMM，然后将 epilogue 折叠到归约存储中。该方法使用自定义 Triton 内核，在大多数形状上击败了 PyTorch Inductor。