@PyTorch:为什么日益复杂的 AI 工作负载适合使用 Ray?Ion Stoica(@istoica05,@UCBerkeley / @anyscalecompute)解释道……
摘要
Ion Stoica 在 PyTorchCon North America 2026 的主题演讲中讲述了 Ray 从强化学习框架演进为复杂 AI 工作负载分布式底座的历程,并宣布未来一年将用 Rust 重写核心组件、深化 Kubernetes 集成以及推出厂商中立的 SIGA Accelerators 路线图。
查看缓存全文
缓存时间: 2026/11/19 23:47
为什么日益复杂的 AI 工作负载适合使用 Ray?Ion Stoica(@istoica05,@UCBerkeley / @anyscalecompute)在这段来自 2026 年北美 #PyTorchCon 的视频片段中作了解释。
Ion 回顾了从扩展预训练转向后训练和多模态模型的过程,介绍了工作负载复杂性、硬件异构性和规模的增长。他将这些需求与 Ray 的设计联系起来:Ray 是一个最初为强化学习构建的分布式框架。
在完整的主题演讲中,Ion 讲述了 Ray 的故事,讨论了数据处理、训练、推理服务和后训练方面的改进,并概述了与 Kubernetes 更紧密集成以及改善加速器支持的计划。
观看完整主题演讲《Ray 为支持 AI 工作负载而经历的演进》:https://youtu.be/HXxV3GcMtyA?si=7f-HuRKrHBIoh9PL…
概要:Ion Stoica 讲述 Ray 的故事——从强化学习起步,到成为复杂 AI 工作负载的分布式底座,以及未来一年用 Rust 重写核心组件的计划。
Ray 是什么
Ray 是一个用于扩展复杂 AI 工作负载的分布式框架。它位于 Kubernetes 等编排平台之上、训练与推理引擎之下,负责集成并帮助扩展这些引擎;在 Ray 之上则是各类工作负载框架,比如数据处理框架和 RL 框架。
故事的开端:2015 年的强化学习
故事始于 2015 年秋天,两位机器学习专业的学生 Philip 和 Robert 选修了 Ion Stoica 的研究生课程,原因是他们想学习如何为自己的研究构建工具——当时的工具既难用,也无法扩展。
彼时强化学习领域正值盛况:
- DeepMind 和 OpenAI 展示了计算机可以在游戏中达到专家水平的表现
- Google 展示了利用强化学习将数据中心冷却能耗降低 40%
- 2016 年 AlphaGo 击败围棋世界冠军,震撼世界
于是团队自然而然地为强化学习构建了 Ray,以及构建在 Ray 之上的 RLlib 库——它最终成为当时最成功的强化学习库。
不过,这项工作“有些超前于时代“,因为 RL 的普及比较慢。幸运的是,RL 是一种非常通用的工作负载,为 RL 构建的 Ray 意味着它可以支持任何其他 AI 工作负载。
AI 的三个阶段与 Ray 的增长
第一阶段:稠密神经网络
模型小到可以放在单个节点上,规模相对较小。这类工作负载对 Ray 完整灵活性的利用有限,这也反映在 Ray 相对温和的增长上。
第二阶段:生成式 AI
以 ChatGPT 的发布和扩展预训练的成功为标志。模型规模不断增大,不再能放进单个 GPU,整体规模大幅增加,Ray 的相关性随之提升——OpenAI 使用 Ray 训练了 ChatGPT。采用速度加速,下载量在两年内增长了约三倍。
第三阶段:后训练与多模态
到 2024 年底,预训练的规模定律放缓了。作为回应,研究者转向了后训练和多模态模型,导致工作负载复杂性、硬件异构性和规模的大幅增长。
而这正是构建 Ray 的初衷——越复杂,Ray 越闪耀。这同样体现在增长上:下载量在短短一年半内增长了近 10 倍。
另一个数据点:如今几乎每一个开源强化学习框架都是构建在 Ray 之上的。
过去一年的 Ray:由 AI 复杂性驱动的改进
Ray 的改进直接由 AI 工作负载的复杂性和扩展需求所驱动。
基础层
- 支持拓扑感知调度,能够支持 NVL72 等机架级系统和 DPU 切片
- GPU 间传输速度提升 7.5 倍
- Actor 启动速度提升 10 倍
数据处理
- 扩展能力提升 10 倍
- 与 Delta Lake / Apache Iceberg 集成,将总拥有成本降低 3 倍
训练
- 原生集成了文件存储(FSD)
- 支持 TPU 上的弹性扩展
推理服务
- 吞吐量提升 40 倍,消除了 Python 瓶颈
- 对于代码密集型工作负载,吞吐量提升 25 倍
后训练与环境
- 训练实例与推理实例之间的权重传输速度提升 10 倍
- 可以在 30 秒内启动 100,000 个沙箱
未来一年:Ray 有史以来最大的变革
团队预计未来一年将迎来 Ray 有史以来最大的变革,包含三项计划:
- 用 Rust 重写 Ray 的主要组件,以提升扩展能力和性能
- 与周围生态系统更紧密地集成,尤其是与 Kubernetes 的集成,以提高资源利用率和端到端可观测性
- 与硬件厂商更紧密地合作,改善 Ray 对加速器的支持
关于第二项,当天晚些时候 Google 的 Yago Mloud 与 Ion Stoica 将共同展示合作成果并提供更多细节。
重磅宣布:SIGA Accelerators
Ion Stoica 在演讲最后宣布了 SIGA Accelerators——一项新的努力,旨在为 Ray 加速器建立厂商中立的路线图,并欢迎大家加入。
来源:为什么日益复杂的 AI 工作负载适合使用 Ray?——Ion Stoica @PyTorch (https://www.youtube.com/watch?v=HXxV3GcMtyA)
相似文章
@PyTorch:Ray 起源于强化学习。在 #PyTorchCon 2026 上,Ion Stoica @istoica05(@UCBerkeley / @anyscalecompute)追溯了……
在 PyTorchCon 2026 上,Ion Stoica 回顾了 Ray 从强化学习演变为现代 AI 工作负载背后分布式计算层的历程,重点介绍了针对 TPU Pod 和 Blackwell GPU 的拓扑感知调度、NIXL GPU 传输、TorchFT 集成,以及未来用 Rust 重写核心组件并深化 Kubernetes 集成的计划。
@PyTorch:随着越来越多的团队在安全、受治理的基础设施上扩展开源 AI,Ray 已成为贯穿整个 AI 生命周期的关键…
PyTorch 官方博客发布了面向 PyTorch Conference North America 2026(圣何塞)的 Ray 专题指南,重点介绍来自 Anyscale、Google、LinkedIn、Pinterest 和 Uber 的演讲嘉宾带来的主旨演讲与会议内容,涵盖 Ray 与 Kubernetes 的协同发展、弹性训练栈以及可扩展的强化学习(RL)。
@PyTorch:认识一下 @istoica05,@UCBerkeley 教授兼 @anyscalecompute 执行董事长,他将登上 #PyTorchCon 的主题演讲舞台……
PyTorch 2026 北美大会(10 月 20日至21日,美国加利福尼亚州圣何塞)宣布,加州大学伯克利分校教授兼 Anyscale 执行董事长 Ion Stoica 将担任主题演讲嘉宾,探讨 Ray 和 Kubernetes 如何共同演进,以适应人工智能时代。
@PyTorch:今天,PyTorch 基金会项目 Ray 宣布成立面向加速器的 Ray 特别兴趣小组(SIG)。Ray 此前已……
PyTorch 基金会项目 Ray 宣布成立面向加速器的 Ray 特别兴趣小组(SIG),汇聚硬件厂商、云服务商和 Ray 社区,围绕厂商中立的路线图展开协作,涵盖硬件感知测试、拓扑感知调度以及 Ray Direct Transport。
@robertnishihara: If you want the talk version, Ion gave a great talk about gaps in agentic software engineering at Ray Summit. https://y…
本文总结了Ion Stoica在Ray Summit上的演讲,探讨了AI编程智能体在软件工程中面临的需求、环境和评估三大关键差距,以及这些问题如何导致奖励黑客攻击和幻觉。