activation-functions

This theoretical paper proves that ReLU-based message-passing GNNs are strictly more expressive than GNNs using any eventually constant activation functions (e.g., truncated ReLU) with respect to Boolean queries, even on Boolean-featured graphs.

本文提出阈值门控（TG）作为神经非线性的统一原语，表明标准激活函数可以表示为TG的实例。作者通过将预训练模型在各种架构间转换而不进行重新训练来验证其方法，并讨论了硬件优势。

一条推广 TensorTonic 的推文。该平台让用户从头实现九种常见激活函数（Sigmoid、ReLU、Tanh、Softmax、Leaky ReLU、GELU、Swish、ELU、SELU），包括前向传播和梯度计算。

本文探讨了深度学习中的通用近似定理，分析了使用 ReLU 激活函数时单个神经元和神经网络层的表示能力。