error-accumulation

KVarN是一个免校准的KV缓存量化器，它使用哈达玛旋转和双缩放方差归一化来减少大型语言模型自回归解码过程中的错误累积，在推理基准上实现了最先进的2位精度。