@ariG23498: 现在是性能分析时间!在第2部分中,我们涵盖:> 追踪线性层 > 讨论 mul + add 与 linear 的对比 > gemm epilogues (我最…
摘要
宣布性能分析教程的第2部分,涵盖线性层追踪、gemm epilogues、MLP追踪以及torch compile与Liger内核的对比,并附有完整内容的链接。
查看缓存全文
缓存时间: 2026/06/12 06:56
现在开始性能剖析!⏰
第二部分涵盖:
> 追踪线性层
> 讨论乘法+加法与线性层的区别
> GEMM尾声(我最爱的部分)
> 追踪MLP
> torch compile 与 liger 内核对比
> 使用Hugging Face内核
收藏起来,周末慢慢读!😎 https://t.co/ZRqcO3AF1K
相似文章
PyTorch 性能分析(第 2 部分):从 nn.Linear 到融合 MLP
本篇博文继续 PyTorch 性能分析系列内容,探讨 nn.Linear、MLP 块以及使用 Triton 内核的融合技术,以优化性能。
@ariG23498: 这个人真会写!将这种理解与性能分析(我系列的无耻推广)结合,你就无敌了! http://hf.…
一份面向初学者的指南,介绍如何使用 PyTorch 中的 torch.profiler 对深度学习工作负载进行性能分析和优化,涵盖追踪读取、CUDA 分析和 torch.compile 集成。
PyTorch 中的性能分析(第一部分):torch.profiler 初学者指南
这是一份初学者友好的指南,介绍如何使用 PyTorch 的 torch.profiler 对神经网络操作进行性能分析和优化,从矩阵乘法和偏置加法开始。它解释了如何读取分析器跟踪并理解 CPU/GPU 交互。
TorchNeuron 性能分析(第 1 部分):在 AWS Trainium 上进行系统级性能分析
亚马逊关于在 AWS Trainium 上分析 TorchNeuron 工作负载的系列教程第 1 部分,涵盖如何使用 Neuron 后端配置 torch.profiler、解读 key_averages() 输出,以及通过 Neuron Explorer 追踪操作。
@RisingSayak: 我意识到,无法分析的东西就无法优化。这就是为什么我在Diffusers中开始了一个小项目,来……
Sayak Paul 描述了一个使用 torch.compile 分析和优化 Diffusers 流水线的项目,并宣布由 Ari G. 教授的相关教程系列。