@ariG23498: 当我第一次从@cHHillee的博客文章“Making Deep Learning Go Brrrr From …”中听说内核融合时,我着迷了。
摘要
作者分享了对内核融合的兴奋之情,并演示了使用HuggingFace的kernels项目对GeGLU FFN融合的Liger内核进行性能分析,指出这个分析结果非常漂亮。
查看缓存全文
缓存时间: 2026/06/16 23:43
我第一次从@cHHillee的博客文章《Making Deep Learning Go Brrrr From First Principles》中听说内核融合时,感到非常着迷(是的,我是这篇文章的超级粉丝)。
我仍然是内核编程的新手,所以无法自己构建融合内核。@huggingface 的 kernels 项目救了我。我可以从Hub上的数百个内核中进行选择并对其进行分析。
在博客中,我们使用了 GeGLU FFN 融合 Liger 内核,其分析结果非常漂亮。
相似文章
@ariG23498:Hugging Face Kernels(https://hf.co/kernels)是一款非常棒的产品。
一条推文称赞 Hugging Face Kernels(hf.co/kernels)是一款优秀的产品,展示了其社区 GPU 内核目录,可按平台(CUDA、ROCm、Metal、WebGPU、CPU)和硬件(H100、A100、MI300、Apple Silicon 等)进行筛选,其中包括 flash-attn2、nvfp4-gemm 和 ggml 量化内核等热门条目。
介绍 @huggingface/kernels:200 多个 WebGPU 内核用于本地 AI
Hugging Face 发布 207 个 WebGPU 内核,用于浏览器中的本地 AI 推理,并附带一个 JavaScript 加载器库和名为 Fleet 的基准测试工具。
@liao_lucas: https://x.com/liao_lucas/status/2097149853499588971
本文介绍了在AI推理和性能工程背景下的GPU内核,解释了它们的定义、使用方法以及自定义内核在优化中的优势。
@ariG23498: 我一直很钦佩 @stevhliu 的工作。我认为他的技术文章是最好的之一。在最新的……
一个系列帖文介绍了 Hugging Face 的 transformers 库如何高效加载模型,涵盖 meta device、safetensors、CUDA 缓存等内容。
@RisingSayak: 发现更快的内核?您不应该需要重写模型来使用它。借助 Kernels,您可以选择哪个内核运行…
这个Twitter线程介绍了Hugging Face的Kernels,这是一个工具,允许用户选择和替换AI模型中支持层的优化内核实现,而无需重写整个模型。