kv-cache-quantization

OSCAR是一种离线谱协方差感知旋转方法，用于2位KV缓存量化，该方法将量化与注意力协方差结构对齐，为长上下文LLM服务实现了高精度和高效率。

本文分析了受 TurboQuant 启发的 KV 缓存量化方案，利用统计推断和新的 6D 误差框架来评估 KL 散度、几何误差等质量指标。