variable-bit-width-quantization

介绍了可变位宽量化（VBQ），一种训练时的方法，其中每组64个权重通过Gumbel-Softmax松弛学习自己的位宽（1、2、4、8）。VBQ发现了一种异构分配，实现了“更大但更小”的机制，例如，平均位宽1.82的1.31亿参数模型在TinyStories上的困惑度为4.2，击败了5500万FP16模型（困惑度4.4），同时存储减少3.8倍；而1.46B模型在FineWeb-Edu上与593M FP16控制模型表现相当，存储减少约3.7倍。