low-bit-precision

介绍了可变位宽量化（VBQ），一种训练时的方法，其中每组64个权重通过Gumbel-Softmax松弛学习自己的位宽（1、2、4、8）。VBQ发现了一种异构分配，实现了“更大但更小”的机制，例如，平均位宽1.82的1.31亿参数模型在TinyStories上的困惑度为4.2，击败了5500万FP16模型（困惑度4.4），同时存储减少3.8倍；而1.46B模型在FineWeb-Edu上与593M FP16控制模型表现相当，存储减少约3.7倍。

一种新颖的端到端大语言模型压缩框架，联合优化结构化剪枝与混合精度量化，在超低位宽精度下，相比于现有最先进方法实现了显著的困惑度降低和加速效果。

本文系统研究了OpenPangu-Embedded-1B的HiF8 W8A8量化感知训练，识别并解决了amax饱和和灾难性遗忘等失效模式，通过64步最大算法DTS策略和500步BF16预热实现了近无损性能。