5d-parallelism

标签

Cards List
#5d-parallelism

@PyTorch:TorchTitan 在原生 PyTorch 中发布重大性能与架构更新,新增完整的 5D 并行支持…

X AI KOLs Following ↗ · 2天前 缓存

TorchTitan 发布重大性能与架构更新,新增对 DeepSeek-V4、Qwen3.5、Kimi K3、Muse Spark Open 等 SOTA 模型的完整 5D 并行支持,并推出统一后训练与智能体工作负载的 TitanRL 框架,FlexShard 与 torch_checkpointing 大幅提升大规模训练效率。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈