training-failures

作者分享了构建 NeuralDBG 的经验，这是一个针对 PyTorch 训练循环的开源调试器，通过监测逐层梯度范数的变化而非全局损失来检测局部故障，如梯度消失/爆炸。文中包含实用代码片段和社区问题。

一篇技术深度文章，探讨大型语言模型中预训练运行失败的常见原因，包括专家路由中的因果破坏问题和数值精度错误，并附有Llama 4、Gemini 2 Pro和GPT-4的示例。