autotuning

Hugging Face Kernels 项目现已支持 Helion，这是一个用于编写高性能机器学习内核的高级 DSL，使用户能够无缝地构建、自动调优和交付内核。

一种加速矩阵乘法的技术，适用于 M 和 N 较小而 K 较大的情况（如 MoE routers 和 small-batch decoding），通过分解 K 并并行运行部分 GEMM，然后将 epilogue 折叠到归约存储中。该方法使用自定义 Triton 内核，在大多数形状上击败了 PyTorch Inductor。

本文探讨了使用LLM引导的自动调优来加速PyTorch的Helion DSL中的内核配置搜索，取代了较慢的Likelihood-Free Bayesian Optimization方法。