nccl

标签

Cards List
#nccl

@PyTorch:带上你关于 PyTorch 2.15 的问题,参加我们于本周四(11 月 5 日)太平洋时间上午 11 点举行的在线问答。Tristan Rice(@rice_fry…

X AI KOLs Timeline ↗ · 2026-11-02 缓存

PyTorch 宣布将举办一场关于 PyTorch 2.15 版本的在线问答网络研讨会,届时 Meta 工程师将详细介绍各项新功能,包括重写的 NCCL 后端、NIXL 单边传输、更精细的 FSDP2/流水线并行内存控制,以及在 NVIDIA Blackwell 和 Apple 芯片上更快的 NVFP4/FP8 解码。

0 人收藏 0 人点赞
#nccl

在 HF Jobs 中使用 LoRA 进行 Async GRPO:一个存储桶、一个代理,且无需 NCCL

Hugging Face Blog ↗ · 2026-09-10 缓存

本文描述了一种方法,使用 AsyncGRPOTrainer 训练 LoRA 适配器,并通过存储桶在单独的 Hugging Face 作业之间同步,从而消除了对 NCCL 通信的需求。

0 人收藏 0 人点赞
#nccl

NVIDIA Exemplar Cloud:在AI基础设施上释放全部性能的经验教训(12分钟阅读)

TLDR AI ↗ · 2026-07-31 缓存

NVIDIA分享了其Exemplar Cloud项目的调试经验,详细说明了SMMU电源管理、NUMA放置、NCCL队列对并发以及硬件缺陷等配置问题如何导致AI集群8-12%的训练吞吐量差距,以及如何诊断和修复这些问题。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈