@techNmak: 如今构建神经网络变得极其容易，以至于人们在完全不了解其工作原理的情况下也能完成。我们生活在一个以 'import torch' 为标志的时代……

如今，在完全不了解神经网络工作原理的情况下构建它们变得极其容易，甚至充满危险。我们生活在一个“import torch”的时代。你可以用三行代码训练一个模型，但当你需要调试崩溃的损失函数或消失的梯度时，仅仅掌握语法是无济于事的。你需要掌握第一性原理。我最近学习了 Simon J.D. Prince 的这份笔记合集，它是摆脱“教程地狱”的良方。它不仅展示代码，还迫使你可视化其底层机制： 1./ 数学基础 => 在增加复杂性之前，它为浅层网络和区域建立直觉。 2./ 优化 => 它不仅仅是使用优化器，还比较了线搜索（Line Search）、随机梯度下降（SGD）和 Adam，让你理解它们为何表现不同。 3./ 现代技术栈 => 它将基础知识从基本的反向传播一直连接到自注意力机制（Self-Attention）和图神经网络（GNN）。 从运行代码转向系统工程 => 这是一座宝藏。