mxint4

本文研究了对递归推理模型的量化，其中权重共享块被重复使用，发现每张量4位量化会导致灾难性漂移，但每块缩放（如MXInt4）能恢复准确性，且更深层的架构更为敏感。