binary-neural-networks

提出StoMPP，一种针对二值神经网络的逐层渐进冻结训练框架，从输入到输出逐步对层进行二值化，在不依赖直通估计器的情况下，相比普通STE实现了显著的精度提升，并在多种架构和任务中表现出一致的增益。

BIN16在神经网络训练和推理中用布尔运算（XNOR+popcount）替代所有浮点运算，使得在现成的DRAM中直接计算成为可能，无需浮点数、梯度或超参数调优。仅用220行C代码，它就在一个训练周期内在MNIST上达到了82%的准确率。

本文介绍了 SURGE，这是一种新颖的可学习梯度补偿框架，用于训练二元神经网络，旨在解决直通估计器等传统方法中存在的梯度失配和信息丢失问题。