我绘制了Qwen3.6-35B-A3B和Gemma4-E2B QAT模型的KV缓存量化的KL散度图

Reddit r/LocalLLaMA 2026/06/23 15:12 论文

kv-cache quantization kld qwen gemma4 model-analysis efficient-inference

摘要

作者绘制了Qwen3.6-35B-A3B和Gemma4-E2B QAT模型的KV缓存量化的KL散度图。

暂无内容

查看原文

相似文章

Reddit r/LocalLLaMA

Gemma 4 QAT 31B 模型在 KV 缓存量化时表现出更好的行为，表明推理效率得到提升。

Reddit r/LocalLLaMA

一项详细的基准测试，使用PPL和KLD指标在Qwen 3.6 27B上比较KV缓存量化方法（TurboQuant、TCQ、q4、q5、q8），发现TCQ改进了低位量化，不对称KV在相同大小下优于对称KV，且q8通常过于夸张。包含分析和数据，见链接文章。

arXiv cs.LG

本文分析了受 TurboQuant 启发的 KV 缓存量化方案，利用统计推断和新的 6D 误差框架来评估 KL 散度、几何误差等质量指标。

arXiv cs.LG

本文发现低位KV缓存量化会因logits的结构化局部误排名而降低大语言模型精度，提出DGAP方法，通过恢复Top-K候选的局部分布，在Llama-3.1-8B模型上将RULER准确率从47.8%恢复至83.2%，且仅增加极小的开销。

Reddit r/LocalLLaMA

关于使用多种 GGUF 和 KV 缓存量化方式对 LiquidAI 的 LFM2.5-2.6B 模型进行量化的详细报告，显示该模型可适配 8GB 树莓派且性能下降极小，但提醒不要使用 Q4_K_M。