@PyTorch:为什么日益复杂的 AI 工作负载适合使用 Ray?Ion Stoica(@istoica05,@UCBerkeley / @anyscalecompute)解释道……

X AI KOLs Following 事件

摘要

Ion Stoica 在 PyTorchCon North America 2026 的主题演讲中讲述了 Ray 从强化学习框架演进为复杂 AI 工作负载分布式底座的历程,并宣布未来一年将用 Rust 重写核心组件、深化 Kubernetes 集成以及推出厂商中立的 SIGA Accelerators 路线图。

为什么日益复杂的 AI 工作负载适合使用 Ray?Ion Stoica(@istoica05,@UCBerkeley / @anyscalecompute)在这段来自 #PyTorchCon 北美 2026 大会的视频中给出了解释。 Ion 梳理了从扩展预训练到后训练和多模态模型的转变,介绍了工作负载复杂性、硬件异构性和规模的不断增长。他将这些需求与 Ray 的设计联系起来:Ray 是一个最初为强化学习而构建的分布式框架。 在完整的主题演讲中,Ion 讲述了 Ray 的发展历程,探讨了数据处理、训练、推理服务和后训练等方面的改进,并概述了与 Kubernetes 更紧密集成以及改进加速器支持的计划。 观看完整主题演讲《Ray 为支持 AI 工作负载而进行的演进》:https://youtu.be/HXxV3GcMtyA?si=7f-HuRKrHBIoh9PL…
查看原文
查看缓存全文

缓存时间: 2026/11/19 23:47

为什么日益复杂的 AI 工作负载适合使用 Ray?Ion Stoica(@istoica05,@UCBerkeley / @anyscalecompute)在这段来自 2026 年北美 #PyTorchCon 的视频片段中作了解释。

Ion 回顾了从扩展预训练转向后训练和多模态模型的过程,介绍了工作负载复杂性、硬件异构性和规模的增长。他将这些需求与 Ray 的设计联系起来:Ray 是一个最初为强化学习构建的分布式框架。

在完整的主题演讲中,Ion 讲述了 Ray 的故事,讨论了数据处理、训练、推理服务和后训练方面的改进,并概述了与 Kubernetes 更紧密集成以及改善加速器支持的计划。

观看完整主题演讲《Ray 为支持 AI 工作负载而经历的演进》:https://youtu.be/HXxV3GcMtyA?si=7f-HuRKrHBIoh9PL…


概要:Ion Stoica 讲述 Ray 的故事——从强化学习起步,到成为复杂 AI 工作负载的分布式底座,以及未来一年用 Rust 重写核心组件的计划。

Ray 是什么

Ray 是一个用于扩展复杂 AI 工作负载的分布式框架。它位于 Kubernetes 等编排平台之上、训练与推理引擎之下,负责集成并帮助扩展这些引擎;在 Ray 之上则是各类工作负载框架,比如数据处理框架和 RL 框架。

故事的开端:2015 年的强化学习

故事始于 2015 年秋天,两位机器学习专业的学生 Philip 和 Robert 选修了 Ion Stoica 的研究生课程,原因是他们想学习如何为自己的研究构建工具——当时的工具既难用,也无法扩展。

彼时强化学习领域正值盛况:

  • DeepMind 和 OpenAI 展示了计算机可以在游戏中达到专家水平的表现
  • Google 展示了利用强化学习将数据中心冷却能耗降低 40%
  • 2016 年 AlphaGo 击败围棋世界冠军,震撼世界

于是团队自然而然地为强化学习构建了 Ray,以及构建在 Ray 之上的 RLlib 库——它最终成为当时最成功的强化学习库。

不过,这项工作“有些超前于时代“,因为 RL 的普及比较慢。幸运的是,RL 是一种非常通用的工作负载,为 RL 构建的 Ray 意味着它可以支持任何其他 AI 工作负载。

AI 的三个阶段与 Ray 的增长

第一阶段:稠密神经网络

模型小到可以放在单个节点上,规模相对较小。这类工作负载对 Ray 完整灵活性的利用有限,这也反映在 Ray 相对温和的增长上。

第二阶段:生成式 AI

以 ChatGPT 的发布和扩展预训练的成功为标志。模型规模不断增大,不再能放进单个 GPU,整体规模大幅增加,Ray 的相关性随之提升——OpenAI 使用 Ray 训练了 ChatGPT。采用速度加速,下载量在两年内增长了约三倍。

第三阶段:后训练与多模态

到 2024 年底,预训练的规模定律放缓了。作为回应,研究者转向了后训练和多模态模型,导致工作负载复杂性、硬件异构性和规模的大幅增长。

而这正是构建 Ray 的初衷——越复杂,Ray 越闪耀。这同样体现在增长上:下载量在短短一年半内增长了近 10 倍。

另一个数据点:如今几乎每一个开源强化学习框架都是构建在 Ray 之上的。

过去一年的 Ray:由 AI 复杂性驱动的改进

Ray 的改进直接由 AI 工作负载的复杂性和扩展需求所驱动。

基础层

  • 支持拓扑感知调度,能够支持 NVL72 等机架级系统和 DPU 切片
  • GPU 间传输速度提升 7.5 倍
  • Actor 启动速度提升 10 倍

数据处理

  • 扩展能力提升 10 倍
  • 与 Delta Lake / Apache Iceberg 集成,将总拥有成本降低 3 倍

训练

  • 原生集成了文件存储(FSD)
  • 支持 TPU 上的弹性扩展

推理服务

  • 吞吐量提升 40 倍,消除了 Python 瓶颈
  • 对于代码密集型工作负载,吞吐量提升 25 倍

后训练与环境

  • 训练实例与推理实例之间的权重传输速度提升 10 倍
  • 可以在 30 秒内启动 100,000 个沙箱

未来一年:Ray 有史以来最大的变革

团队预计未来一年将迎来 Ray 有史以来最大的变革,包含三项计划:

  1. 用 Rust 重写 Ray 的主要组件,以提升扩展能力和性能
  2. 与周围生态系统更紧密地集成,尤其是与 Kubernetes 的集成,以提高资源利用率和端到端可观测性
  3. 与硬件厂商更紧密地合作,改善 Ray 对加速器的支持

关于第二项,当天晚些时候 Google 的 Yago Mloud 与 Ion Stoica 将共同展示合作成果并提供更多细节。

重磅宣布:SIGA Accelerators

Ion Stoica 在演讲最后宣布了 SIGA Accelerators——一项新的努力,旨在为 Ray 加速器建立厂商中立的路线图,并欢迎大家加入。

来源:为什么日益复杂的 AI 工作负载适合使用 Ray?——Ion Stoica @PyTorch (https://www.youtube.com/watch?v=HXxV3GcMtyA)

相似文章

@PyTorch:随着越来越多的团队在安全、受治理的基础设施上扩展开源 AI,Ray 已成为贯穿整个 AI 生命周期的关键…

X AI KOLs Following

PyTorch 官方博客发布了面向 PyTorch Conference North America 2026(圣何塞)的 Ray 专题指南,重点介绍来自 Anyscale、Google、LinkedIn、Pinterest 和 Uber 的演讲嘉宾带来的主旨演讲与会议内容,涵盖 Ray 与 Kubernetes 的协同发展、弹性训练栈以及可扩展的强化学习(RL)。