low-bit-quantization

InfoQuant 提出了一种无需训练的方法——峰值抑制正交变换（PSOT），用于重塑低比特大语言模型量化中的激活分布，在 W4A4KV4 设置下保留了 97% 的浮点精度，并优于之前的 PTQ 方法。

OSCAR是一种离线谱协方差感知旋转方法，用于2位KV缓存量化，该方法将量化与注意力协方差结构对齐，为长上下文LLM服务实现了高精度和高效率。