Grace Blackwell 需要新的调度器:相同机架下可用 GPU 提升 27%
摘要
SkyPilot 的博客介绍其平台如何通过拓扑感知的任务放置、原地故障恢复和集群自动碎片整理,让多节点 AI 训练任务在 Grace Blackwell NVL72 机架内保持 rack-locality,从而在相同机架上获得多出 27% 的可用 GPU。
暂无内容
查看缓存全文
缓存时间: 2026/10/29 16:35
# Grace Blackwell 需要一个新的调度器:同样的机柜,多挤出 27% 的可用 GPU
来源:https://skypilot.ai/blog/grace-blackwell-needs-a-new-scheduler
并非所有高速互连都是平等的,选错代价可能相当高昂:同一个分布式训练作业跑在 InfiniBand 而不是 NVLink 上,性能可能下降 43%(https://nanotron-ultrascale-playbook.static.hf.space/index.html#:~:text=which%20typically%20sees%20around,scenarios)。
历史上,NVLink 仅限于单节点内部通信,这意味着多节点 AI 工作负载被迫通过 InfiniBand 或云厂商等价方案(AWS 上的 EFA、GCP 上的 GPUDirect-TCPX)进行通信。NVIDIA 的 NVL72 系统消除了这一限制——它通过统一的 NVLink 互连将机柜中所有 72 块 GPU 连接在一起,使不同节点上的 GPU 能够以高出一个数量级的带宽交换数据。
Infiniband
然而,要充分发挥 NVL72 系统的优势,高度依赖于工作负载的放置:一个跨越多个机柜部署的多节点作业仍然会受到 InfiniBand 的瓶颈制约。随着硬件故障导致节点下线,以及不同作业在不同时间完成导致空闲容量散布在各个机柜中,保持机柜亲和性变得越来越困难。
本篇博客将介绍大规模训练和推理中的通信瓶颈、NVL72 机柜级互连、针对 GPU 故障容错的切片大小选择,以及 SkyPilot Platform(https://skypilot.ai/platform)如何通过拓扑感知放置、硬件故障的就地恢复、以及共享集群的自动碎片整理来确保多节点作业保持在机柜本地。
前沿训练作业跨越数千块 GPU 运行。这需要回答两个问题:
1. 如何将模型切分到各块 GPU 上,确保它能够真正运行?
2. 在给定的计算预算下,可以同时运行多少份切分后的模型副本,以最大化训练吞吐量?
第一个问题通常通过以下并行策略的组合来回答:
- 张量并行(TP):将一层的权重矩阵切分到多块 GPU 上
- 专家并行(EP):将混合专家(MoE)层中的各专家放置在不同 GPU 上
- 流水线并行(PP):按层将模型切分到多块 GPU 上
第二个问题的答案决定了数据并行(DP)的度——即并行训练的切分模型副本数量,每个副本处理不同的训练数据分片。
在这些并行策略中,张量并行的 all-reduce 和专家并行的 all-to-all 通信模式处于训练的关键路径上,因此将它们保留在 NVLink 上至关重要(https://arxiv.org/abs/2603.07685)(§9.1.2)。
### 张量并行
张量并行将每层内部的权重矩阵切分到多块 GPU 上,因此每块 GPU 只存储和计算每层的一个切片。
Transformer 层由两个模块组成:自注意力和多层感知机(MLP)。本质上,每个模块是连续两次矩阵乘法(GEMM)。Megatron-LM(https://arxiv.org/abs/1909.08053)(§3)证明,通过将模块中第一个 GEMM 按列切分、第二个 GEMM 按行切分,GPU 们只需要在第二个 GEMM 之后进行一次 all-reduce 同步,而不是每次 GEMM 之后都同步。
动画图示:张量并行将 A 按列、B 按行切分到两块 GPU 上,一次 all-reduce 对部分 z 结果求和
**图 1.** 两块 GPU 上的张量并行。A 被按列切分,因此每块 GPU 无需通信即可计算出自己那部分 y。B 被相应地按行切分,因此每块 GPU 产生一个部分 z,一次 all-reduce 对部分结果求和。即使有了这个优化,张量并行在前向传播过程中每个 Transformer 层仍然需要两次 all-reduce。这些 all-reduce 步骤位于训练的关键路径上(https://nanotron-ultrascale-playbook.static.hf.space/index.html#:~:text=The%20inability%20to%20fully%20hide,directly%20adds%20to%20the%20critical%20path),因为它们无法与计算完全重叠。因此,张量并行通常保留在 NVLink 上:Hugging Face 实测将其从 NVLink 移到 InfiniBand 后,训练吞吐量下降了 43%。
### 专家并行
在混合专家(MoE)层中,MLP 模块被许多更小的 MLP(称为专家)所替代,另加一个路由器将每个 token 发送到少数几个专家。专家并行切分 MoE 层,使这些小型独立的专家分布在不同 GPU 上。
在专家并行下,每个 MoE 层在前向传播中需要两步 all-to-all 通信:派发和合并。路由器为每个 token 选出 top-*k* 个专家,并将 token 派发到内存中持有这些专家的 GPU。随后每块 GPU 通过一次分组矩阵乘法对收到的 token 计算其本地专家。最后,专家的输出被送回各 token 原始所在的 GPU 并合并。
专家并行图示:一次 all-to-all 将 token 派发到不同 GPU 上的专家,第二次 all-to-all 合并结果
**图 2.** 专家并行将专家分布到多块 GPU 上。all-to-all 通信将 token 派发给指定专家并合并结果。(来源:NVIDIA(https://arxiv.org/abs/2603.07685),图 4。)随着模型添加更多 MoE 层、并将每个 token 路由到更多专家,all-to-all 的流量不断增长,引入了通信瓶颈。
使用 64 路专家并行训练 MoE 模型时,每个 MoE 层的专家被分布到 64 块 GPU 上。在标准 8-GPU 服务器上,这使得 all-to-all 通信流量离开了高带宽的 NVLink,转而通过窄得多的 InfiniBand 互连,其中未经优化的通信可能消耗高达 60% 的训练时间(https://arxiv.org/abs/2603.07685)(§1.2)。而在 NVL72 系统上,所有 64 块 GPU 都保持在同一个 NVLink 域内,从而有效消除了通信瓶颈(https://arxiv.org/abs/2603.07685)(§9.2.2)。
上述并行技术并非训练专属。除了使推理引擎能够服务单块 GPU 放不下的超大模型之外,模型并行还能提升吞吐量。将模型权重分散到更多 GPU 上可以释放内存给 KV 缓存,使引擎能够处理更多并发请求或支持更大的上下文窗口(https://vllm.ai/blog/2026-05-14-elastic-expert-parallelism#:~:text=WideEP%20deployments,very%20long%20contexts)。在某些情况下,释放出的内存增长速度甚至超过 GPU 数量的增长:在一个 vLLM(https://vllm.ai/blog/distributed-in-inference#:~:text=we%20are%20able%20to%20increase%20the%20amount%20of%20KV%20Cache%20blocks%20by%2013.9x)基准测试中,将模型在两块 GPU 上张量并行使 KV 缓存块数量增加了 13.9 倍,吞吐量提升了 3.9 倍。
动画图示:Llama-3.1-70B 权重几乎占满一块 H100,切分到两块 H100 后释放了容纳 13.9 倍 KV 缓存块的内存
**图 3.** Llama-3.1-70B 在一块 vs. 两块 H100 上的 GPU 内存分布。(数据来源:vLLM(https://vllm.ai/blog/distributed-inference)。)专家并行遵循相同的逻辑。在低度专家并行下,每块 GPU 持有大量专家,留给 KV 缓存的空间就更少。WideEP(指跨多节点的专家并行配置)大幅减少了每块 GPU 上的专家数量。代价是网络流量:每次 all-to-all 现在跨越更多 GPU。在标准 8-GPU 服务器上,一个专家并行组最多跨越 8 块 GPU,之后就必须通过 InfiniBand 通信,每块 GPU 的带宽下降 18 倍(https://inferencex.semianalysis.com/blog/gb200-nvl72-vs-b200-disagg-deepseek-r1-fp4-dynamo-trt#:~:text=once%20decode%20EP%20needs%20more%20than%208%20ranks,50%20GB%2Fs%2C%2018x)。NVL72 通过将机柜中全部 72 块 GPU 保持在 NVLink 上来消除这一限制。在以交互速度服务 DeepSeek-R1 时,GB200 NVL72 采用 32 路专家并行,每块 GPU 吞吐量最高可达 8-GPU B200 服务器(最高 8 路)的 4.4 倍(https://inferencex.semianalysis.com/blog/gb200-nvl72-vs-b200-disagg-deepseek-r1-fp4-dynamo-trt#:~:text=delivers%20up%20to%204.39x%20throughput%20per%20GPU)。
NVL72 将 NVLink 从单节点扩展到整个机柜,使得整个机柜就像一个具有共享内存的巨型加速器(https://docs.nvidia.com/multi-node-nvlink-systems/imex-guide/overview.html#:~:text=With%20an%20NVLink%20Network,gigantic%20accelerator%20with%20shared%20memory)。
NVL72 机柜中的 NVLink 层级结构:NVLink 域、NVLink 分区和 IMEX 域
**图 4.** NVL72 机柜内部的 NVLink 层级结构。(来源:NVIDIA(https://developer.nvidia.com/blog/running-ai-workloads-on-rack-scale-supercomputers-from-hardware-to-topology-aware-scheduling/),图 1。)NVL72 机柜上每块 GPU 都有 18 个 NVLink 端口,每个端口提供 100 GB/s 的双向带宽,合计每块 GPU 达到 1.8 TB/s(https://developer.nvidia.com/blog/nvidia-gb200-nvl72-delivers-trillion-parameter-llm-training-and-real-time-inference/#:~:text=Each%20NVLink%20switch%20tray%20delivers,bidirectional%20throughput%20per%20GPU)。给定 GPU 上的每个 NVLink 端口对应机柜互连背板上 18 颗 NVSwitch 芯片中的一颗。由于每颗 NVSwitch 芯片可接受 72 条 NVLink 线路(来自每块 GPU 各一条),机柜内部的聚合带宽达到 130 TB/s。
NVL72 拓扑:每块 GPU 将一个 NVLink 端口连接到机柜中 18 颗 NVSwitch 芯片各一颗
**图 5.** 每块 GPU 将一个 NVLink 端口连接到机柜中 18 颗 NVSwitch 芯片各一颗。(来源:NADDOD(https://www.naddod.com/blog/nvidia-gb200-interconnect-architecture-analysis-nvlink-infiniband-and-future-trends)。)这种网络拓扑确保互连完全无阻塞,意味着机柜内任意一块 GPU 都可以以统一延迟向另一块 GPU 发送数据(https://www.nvidia.com/en-us/data-center/nvlink/#:~:text=The%20NVIDIA%20NVLink%20Switch%20chips%20connect%20multiple%20NVLinks,across%20the%20entire%20rack),使其成为大规模分布式 AI 工作负载的理想选择。
一个 NVL72 机柜及其完全无阻塞的 NVSwitch 互连示意图,后者连接机柜中的每一块 GPU
**图 6.** NVSwitch 互连完全无阻塞。任意 GPU 都可以与机柜中任何其他 GPU 以全带宽和相同延迟通信。(来源:NVIDIA(https://developer.nvidia.com/blog/enabling-multi-node-nvlink-on-kubernetes-for-gb200-and-beyond/),图 1)使用 NVL72 系统时,人们倾向于将完整的 18 节点机柜全部分配给工作负载以最大化集群利用率。但实际上,团队通过在每个机柜中保留几个备用节点,反而能获得更多可用容量。
GPU 并不可靠。在 Meta 的吉瓦级超级集群(https://engineering.fb.com/2026/10/19/data-center-engineering/inside-prometheus-meta-gigawatt-scale-supercluster/#:~:text=overall%20wall%2Dclock%20mean%20time,47k%20GPU%20hours)上,经过大量工程努力提升可靠性后,每个 4-GPU 节点的平均中断间隔时间(MTBI)约为 490 天。NVL72 集群将 72-GPU 机柜作为原子计算单元,与组成机柜的 4-GPU 节点相比,故障影响范围扩大了 18 倍。机柜的 MTBI 为:
根据上述公式,一个机柜大约每 490 / 18 ≈ 27 天就会发生一次中断。如果作业分配了完整的 18 节点机柜,每次中断都会使整个机柜在故障节点修复前无法调度。在 128 机柜的集群上,这意味着每隔约 5 小时就会有一个机柜无法用于整机柜作业。
在每个机柜保留两个备用节点可以改变这种情况。当一个节点故障时,同一机柜中的备用节点可以顶替它,因此单个节点故障不再导致整个机柜停用。代价是在一切正常时,每个机柜有两个节点处于闲置状态。
为量化这一权衡,NVIDIA(https://developer.nvidia.com/blog/achieving-peak-system-and-workload-efficiency-on-nvidia-gb200-nvl72-with-slurm-block-scheduling/#what_is_the_impact_of_segment_size_on_node_availability)建模分析了在 128 机柜(2,304 节点)集群上,随着不可用节点比例增加,不同切片大小如何影响可用容量。
128 机柜集群在不同切片大小下可用容量随节点不可用率变化的图表
**图 7.** 在 128 机柜集群上,不同切片大小下可用容量随节点不可用率增加的变化。每个切片必须位于单个机柜内。(改编自 NVIDIA(https://developer.nvidia.com/blog/achieving-peak-system-and-workload-efficiency-on-nvidia-gb200-nvl72-with-slurm-block-scheduling/),图 6。)在 SkyPilot,我们管理着数万块客户 GPU,在生产环境 NVL72 集群上我们测量到的不可用率约为 2%。在这一水平下,NVIDIA 的模型显示 16 节点切片的可用容量比 18 节点切片多出 27%(2,037 vs. 1,602 节点)。它们也比 9 节点切片高出 4%,尽管两个 9 节点切片恰好填满一个机柜:使用 9 节点切片时,每次故障都损失半个机柜,而使用 16 节点切片时,一个机柜中的前两次故障都能被完全吸收。与 8 节点切片相比,16 节点切片为每个作业提供两倍的 NVLink 域内 GPU,而在节点不可用率超过约 3.3% 之前,放弃的可用容量不到 1%。
16 个节点也是分布式 AI 工作负载的自然切分大小:64 块 GPU 是 2 的幂,这与并行组的典型大小相匹配(https://engineering.fb.com/2026/10/19/data-center-engineering/inside-prometheus-meta-gigawatt-scale-supercluster/#:~:text=Training%20parallelism%20maps%20most%20efficiently,in%2Drack%20spares)。
到目前为止,我们已经介绍了为什么通信最密集的并行技术应该放在 NVLink 上、NVL72 如何将 NVLink 从单节点扩展到整个机柜、以及为什么 16 节点切片加每机柜两个备用节点能从生产集群中获得最多的可用容量。SkyPilot 将这一理念付诸实践:将每个切片放在单个机柜上、硬件故障时就地恢复、以及在作业进出时保持整个机柜空闲。
### 调度器需要理解硬件
选择合适的切片大小只是第一步。研究人员如何确保多节点训练运行的每个切片真正落在单个机柜内?
朴素的调度器将多节点作业分散在多个机柜上,迫使 worker 通过 InfiniBand(每方向 400 Gb/s)而非 NVLink(双向 1.8 TB/s)进行通信(https://developer.nvidia.com/blog/achieving-peak-system-and-workload-efficiency-on-nvidia-gb200-nvl72-with-slurm-block-scheduling/#:~:text=All%20communications%20within%20the%20rack,through%20InfiniBand%20or%20Ethernet):
动画图示:朴素调度器将 hero-run 放在两个机柜的空闲节点上,导致其流量穿越 InfiniBand
**图 8.** 朴素放置将多节点作业分散到多个机柜。SkyPilot 的拓扑感知调度器(TAS)确保 worker 被放置在同一个机柜上:
动画图示:SkyPilot 的拓扑感知调度器将 hero-run 的所有节点放在单个机柜上
**图 9.** SkyPilot 的拓扑感知调度器将作业的 worker 保持在单个机柜上。对于多机柜工作负载,TAS 将作业切分为 16 节点(可配置)的切片,并将每个切片放置在各自的机柜上,同时保留两个备用节点。然后,当 **SkyPilot 的 GPU Manager** 检测到 GPU 故障时,**SkyPilot Frontier Trainer** 可以将故障节点热替换为保留的健康节点,其余节点继续运行不受中断。如果同一机柜中没有剩余的备用节点,Frontier Trainer 会将该切片从故障机柜重新调度到健康机柜:
动画图示:hero-run 以两个 16 节点切片的方式运行
相似文章
面向GPU集群的高影响力调度系统
Ai2的AI基础设施团队详细介绍了如何用一套基于GPU时间预算、分层公平份额分配和时间切片合约的系统,取代原有的优先级GPU调度器,从而在优先保障高影响力研究的同时,在数千块H100、B200和B300 GPU上保持集群的满载运行。
中间大有空间:通过细粒度监控揭示 GPU 集群中的机遇
普林斯顿大学研究者对一个包含89节点、319块GPU的大学科研集群进行100毫秒粒度的细粒度监控,发现超过70%的任务GPU内存使用不足20%、80%的任务申请时长与实际时长远不匹配,指出通过改进调度和GPU多任务复用可大幅提升利用率。
@allen_ai: 我们正在分享 Ai2 GPU 调度器背后的工程实践——这是我们为研究团队分配算力资源的全新方案……
Ai2 分享其 GPU 调度器的工程实践,通过 GPU 时间预算、分层公平共享分配和时间片机制取代优先级调度器,将其最大 H100 集群的中位排队等待时间从 5 分钟降至 24 秒。
同一集群,利用率提升33个百分点:改变的是顺序
本文提出了一种约束感知的GPU分配器,与FIFO调度相比,GPU利用率最高可提升33个百分点,突显了基于优先级的分配在企业AI系统中的关键作用。
@RituWithAI: 有人打造了一款工具,能自动找到全球最便宜的GPU来运行你的AI工作负载,并直接在那里执行。AWS…
SkyPilot是一个开源工具,可自动在18个云提供商中寻找并配置最便宜的GPU用于AI工作负载,通过竞价实例和自动管理将成本降低高达10倍。