threshold-gating

本文提出阈值门控（TG）作为神经非线性的统一原语，表明标准激活函数可以表示为TG的实例。作者通过将预训练模型在各种架构间转换而不进行重新训练来验证其方法，并讨论了硬件优势。