Why AI needs a new kind of supercomputer network — the OpenAI Podcast Ep. 18

{ "headline": "Why AI needs a new kind of supercomputer network — the OpenAI Podcast Ep. 18", "author": "Andrew Mayne, Mark Handley, Greg Steinbrecher", "date": "2025-03-21", "content": "TL;DR: 训练大型AI模型需要数万GPU同步工作，传统数据中心网络无法应对这种高度同步、对尾部延迟极度敏感的工作负载，OpenAI正在开发多路径可靠连接（MP-RC）等新协议来消除带宽瓶颈和故障影响。\n\n## 嘉宾背景：从量子计算到AI网络\n\n主持人Andrew Mayne邀请了核心网络团队的Mark Handley和工作负载系统的Greg Steinbrecher。Mark本科学习物理和数学，博士阶段尝试构建量子计算机，后来研究光学芯片，最终转向数据中心网络。他曾在学术界研究数据中心工作负载的真实模型，发现传统简化模型信息量不足。加入OpenAI后，他负责构建GPU集群的模拟器，随后直接编写GPU通信软件。Greg是伦敦大学学院教授，研究网络数十年，曾参与制定视频会议标准（该标准后来用于4G/5G），现在专注于数据中心网络领域的创新。\n\n## 为什么AI训练需要全新的网络思维\n\n传统数据中心网络架构源于互联网设计——大量独立对话，利用大数定律实现统计复用。但AI训练恰恰相反：**让数万GPU协同完成单一任务**，所有GPU必须同步等待最慢的那个。\n\n- **同步工作负载**：GPU间的通信是计算的一部分，所有GPU必须就每一步的结果达成一致。如果一个GPU被宇宙射线击中导致位翻转，整个步骤可能报废。\n- **尾部延迟决定一切**：问题不在于平均速度，而是**最坏情况**（P100，即第100百分位）。网络中任何一条链路的拥塞或故障都会成为全局瓶颈。\n- **规模放大故障**：随着GPU数量从一千增长到十万，设备故障不再是“偶然”而是“常态”。平均故障间隔时间随规模线性下降。网络组件数量（光链路、交换机）比GPU多出几个数量级，这意味着故障几乎必然发生。\n\n## 多路径可靠连接：一个必要的突破\n\n要解决这些问题，不能简单地改造现有协议，必须重新设计网络通信方式。\n\nMark和Greg所在的团队与研究人员紧密协同设计，参与大型训练运行的待命支持，从痛点中提炼新需求。他们提出的“多路径可靠连接”（MP-RC）方案旨在：\n\n- **消除拥塞盲点**：传统网络随机选路，当多条流冲突时速度骤降。MP-RC通过智能路径选择避免碰撞，不再依赖统计复用。\n- **容忍设备故障**：当链路或交换机故障时，协议能快速重路由，不影响正在进行的训练，甚至在故障期间感觉不到影响。\n- **实现规模扩展**：通过并发利用网络中的数千条路径，将尾部延迟降到最低，使“P100”不再是限制因素。\n\n“当研究人员不再需要知道这个特定集群使用的是什么网络协议时，我们就知道我们赢了。”——这是团队衡量成功的关键指标。\n\n## 结语\n\nAI打破了传统数据中心的计算海洋模型。OpenAI的前沿认识是：系统设计本身就是模型训练不可或缺的一部分。通过网络与工作负载的协同设计，团队正在消除持续扩展规模的关键障碍，让每个人更快获得更智能的模型。\n\nSource: [Why AI needs a new kind of supercomputer network — the OpenAI Podcast Ep. 18](https://www.youtube.com/watch?v=TiW96H5HmAw)" }