@RisingSayak: 我意识到,无法分析的东西就无法优化。这就是为什么我在Diffusers中开始了一个小项目,来……
摘要
Sayak Paul 描述了一个使用 torch.compile 分析和优化 Diffusers 流水线的项目,并宣布由 Ari G. 教授的相关教程系列。
查看缓存全文
缓存时间: 2026/05/23 03:58
我意识到,无法进行性能分析的东西,就无法优化。
正因如此,我在 Diffusers 中启动了一个小项目,尝试对重要管线进行性能分析,找出 torch.compile 的瓶颈,并加以修复。最终取得了不错的效果。
我将整个过程记录下来,并邀请社区采用同样的方法。
@ariG23498 决定更进一步,围绕这个主题撰写了一系列教程,从编译简单的 torch 运算开始,讲解如何理解它们的性能分析跟踪结果。
关注他的空间以获取最新动态。
这是一项非常有用的技能,尤其是如果你从事优化工作。即使不从事这方面工作,它也能帮助你更好地理解那些 SM 中到底发生了什么。
相似文章
@ariG23498: 这个人真会写!将这种理解与性能分析(我系列的无耻推广)结合,你就无敌了! http://hf.…
一份面向初学者的指南,介绍如何使用 PyTorch 中的 torch.profiler 对深度学习工作负载进行性能分析和优化,涵盖追踪读取、CUDA 分析和 torch.compile 集成。
@ariG23498: 现在是性能分析时间!在第2部分中,我们涵盖:> 追踪线性层 > 讨论 mul + add 与 linear 的对比 > gemm epilogues (我最…
宣布性能分析教程的第2部分,涵盖线性层追踪、gemm epilogues、MLP追踪以及torch compile与Liger内核的对比,并附有完整内容的链接。
@ariG23498: 有两篇官方PyTorch教程链接到了"Profiling in PyTorch"系列!https://docs.pytorch.org/tutoria…
强调了两篇官方PyTorch教程,它们链接到了'Profiling in PyTorch'系列,提供了使用PyTorch性能分析器API进行性能调试的指导。
@RisingSayak: 我们刚刚发布了Diffusers的新版本!其中包括许多新的图像和视频流水线(Ideogram4、MotifVideo等…
Diffusers库已更新,新增了包括Ideogram4、MotifVideo以及DiffusionGemma模型在内的图像和视频流水线。
为AI代理构建性能分析引导优化
作者正在开发Agent-PGO,这是一个工具,可以分析AI代理的执行,动态地为不太关键的任务替换更便宜的模型,同时通过评估基准保持质量。