dynamic-batch-sizing

#dynamic-batch-sizing

使用动态批次调整防止PyTorch中的CUDA内存溢出

Reddit r/LocalLLaMA ↗ · 8小时前

MEM v3 是一个用于PyTorch的内存管理工具，它动态调整批次大小和梯度累积，以防止训练和微调过程中的CUDA内存溢出崩溃，具有抗混乱性、防崩溃检查点和实时遥测功能。

0 人收藏 0 人点赞