diT

标签

Cards List
#diT

@RisingSayak:Diffusers 的张量并行加载迎来重大升级。在 Flux.2-Dev DiT 上,张量并行度(TP)为 4(A10G):• 30.4s → 1…

X AI KOLs Following ↗ · 3天前 缓存

Hugging Face Diffusers 上张量并行(tensor parallel)加载迎来重大优化:在 Flux.2-Dev DiT、TP=4(A10G)配置下,加载时间从 30.4s 降至 12.5s(约 2.4 倍提速),每 rank 峰值 CPU 内存从 64.1 GB 降至 6.8 GB(减少约 89%)。相关分布式推理(Accelerate 与 PyTorch Distributed)用法已更新到官方文档。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈