nonlinear-operators

本文提出一种即插即用框架，通过LIF神经元的种群计算和轻量级位移缩放，实现Transformer非线性（如Softmax、SiLU、归一化）的脉冲友好近似，在无需微调的LLMs上准确率下降不到1%。