activation-functions

一条推广 TensorTonic 的推文。该平台让用户从头实现九种常见激活函数（Sigmoid、ReLU、Tanh、Softmax、Leaky ReLU、GELU、Swish、ELU、SELU），包括前向传播和梯度计算。

本文探讨了深度学习中的通用近似定理，分析了使用 ReLU 激活函数时单个神经元和神经网络层的表示能力。