datologyai

标签

Cards List
#datologyai

@PyTorch:Zephon 与 TorchTitan 的集成在不同 GPU 数量上恢复训练时,保持完全一致的全局批次。在我们的最新博文中,对 10 亿参数模型的测试中……

X AI KOLs Following ↗ · 4天前 缓存

PyTorch 博客介绍 Zephon 与 TorchTitan 的集成,实现弹性确定性数据加载:训练从 16 GPU 检查点在 8、32、64 GPU 上恢复时,每个全局批次的 SHA-256 哈希与原始运行完全一致。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈