hardware-implementation

本文提出阈值门控（TG）作为神经非线性的统一原语，表明标准激活函数可以表示为TG的实例。作者通过将预训练模型在各种架构间转换而不进行重新训练来验证其方法，并讨论了硬件优势。

Luthira 在 FPGA 阵列上完整实现了 MicroGPT，无需 GPU、PyTorch 或 CPU 推理循环，推理速度达每秒 50000+ token，展示了 Transformer 硬件化的潜力。