low-bit-quantization

ExTernD引入了一种扩展秩三值分解用于LLM训练后量化，通过使用具有自由内秩的因子化表示，使精度接近bf16。在Gemma-4和Qwen3.5等模型上，它以每个权重5.2-5.5有效比特达到Q4_K的精度。

InfoQuant 提出了一种无需训练的方法——峰值抑制正交变换（PSOT），用于重塑低比特大语言模型量化中的激活分布，在 W4A4KV4 设置下保留了 97% 的浮点精度，并优于之前的 PTQ 方法。

OSCAR是一种离线谱协方差感知旋转方法，用于2位KV缓存量化，该方法将量化与注意力协方差结构对齐，为长上下文LLM服务实现了高精度和高效率。