@PyTorch：来自 @Google 的 Zhipeng Wang 分享了 @DeepSpeedAI 团队在大规模模型训练方面的技术进展，亮相 #PyTorchC…
摘要
在 PyTorchCon 2026 上，Google 的 Zhipeng Wang 分享了 DeepSpeed 在大规模模型训练方面的技术进展，包括 AutoSP 自动序列并行、Muon 优化器支持，以及面向 Hugging Face 模型的 AutoTP/AutoEP，同时介绍了与开源社区持续开展的合作。
查看缓存全文
缓存时间: 2026/10/21 20:35
Zhipeng Wang（@Google）在 #PyTorchCon 2026 上分享了 @DeepSpeedAI 团队在大规模模型训练方面的技术进展。
Zhipeng 重点介绍了模型与系统协同设计，以及让 DeepSpeed 在多种模型架构、工作负载和加速器平台上实现高性能的优化措施。亮点包括用于自动序列并行的 AutoSP、对 Muon 优化器的支持，以及面向 Hugging Face 模型的 AutoTP 和 AutoEP。
他还探讨了 DeepSpeed 开源社区的持续发展，以及与模型开发者、硬件供应商和 AI 基础设施合作伙伴的协作，以扩大应用范围并支持新兴的大规模 AI 工作负载。
相似文章
@_vmlops: 微软研究人员构建了此工具用于训练530B参数模型 DeepSpeed 是一个深度学习优化库，……
DeepSpeed 是一个由微软开发的开源深度学习优化库，能够高效地实现大规模模型的分布式训练和推理，具备 ZeRO、3D 并行和 Mixture-of-Experts 等特性。
@PyTorch: 想了解更多基于全新 PyTorch 原生 TPU 后端 TorchTPU 构建的新 vLLM 和 SGLang 引擎？去认识 Qi Zhou 等人……
PyTorch Conference North America 演讲预告：来自 Google 和 Meta 的演讲者将介绍 TorchTPU——一个 PyTorch 原生的 TPU 后端，让 vLLM 和 SGLang 能够在 TPU 上原生运行，同时保留现有的调度器、批处理系统、OpenAI 兼容 API 以及 torch.compile 工作流。
@PyTorch: At #PyTorchCon Europe 2026, @ezyang (@Meta) explains why many developers find tensor parallelism difficult to work with…
At PyTorchCon Europe 2026, Edward Yang explains PyTorch's new pre-compilation support for distributed training and SPMD type system to help developers write correct tensor parallelism code, addressing common pitfalls in gradient correctness.
@PyTorch：认识 @Meta 的软件工程师 Zongwei Zhou，他将担任 #PyTorchCon 北美峰会主题演讲嘉宾。了解 TorchTPU 和……
PyTorch Conference North America（10月20-21日，圣何塞）聚焦主题演讲嘉宾 Zongwei Zhou——Meta 软件工程师，他将探讨如何通过 TorchTPU 和智能体驱动的开发方式，让复杂的 AI 工作负载在不同硬件之间实现可移植性和高性能。
@PyTorch：TorchTitan 在原生 PyTorch 中发布重大性能与架构更新，新增完整的 5D 并行支持…
TorchTitan 发布重大性能与架构更新，新增对 DeepSeek-V4、Qwen3.5、Kimi K3、Muse Spark Open 等 SOTA 模型的完整 5D 并行支持，并推出统一后训练与智能体工作负载的 TitanRL 框架，FlexShard 与 torch_checkpointing 大幅提升大规模训练效率。