tlx

PyTorch/Meta 博客揭示了基于 TLX（Triton Low-level Extensions）在 NVIDIA Blackwell B200 上构建的 Jagged Flash Attention，仅使用约 3.2K 行 Triton 代码——比 FlashAttention-4 少约 3 倍——同时在 Meta Generative Ads Model 所使用的 jagged attention 形状上，前向传播比 FA4 快约 13%，反向传播快约 50%。