标签
AbridgeKV 训练模型，将已生成完毕的思维链文本块压缩到少量学习得到的暂停 token 的 KV 条目中，在仅使用完整 KV 预算四分之一的情况下，实现缓存缩小至原来的 1/3.5，并在满负载 H100 上将解码速度提升至 3.2 倍，且准确率无损。
Telperion 发布了 Qwen3.8-27B 的潜在注意力（MLA 与 GLA-g2）变体，将 KV cache 压缩 4 倍，在消费级硬件上实现接近 4 倍的最大上下文或服务器端 4 倍并发，并在 SWE-bench Verified 上取得 +6.58% 的性能提升，同时减少约 20% 的推理 token 消耗。
论文提出 Latent Compaction，通过测试时训练将 KV 缓存压缩为紧凑的文档特定表示，在冻结模型权重的前提下实现 32 倍压缩下 96.7% 的 RULER 准确率，显著优于 KVZip+ 等基线，并可跨模型规模与系列迁移。
提出克罗内克积注意力（KPA），使用克罗内克积的紧凑矩阵因子表示键值激活，实现最高 10 倍的 KV 缓存压缩，同时在多个模型规模和基准测试上达到或超越 TPA、MQA、GQA 和 MLA 等方法的表现。
LlamAmpere 新版本发布，面向 12GB Ampere 显卡优化，可在 RTX 3060/3080/3090 上运行 200K+ 上下文的 Qwen3.8 27B 量化模型，并引入 Staged + Journaled KVaRN 变体，将 KV 缓存压缩的 KLD 降低约 40%，性能达到 BF16 的约 85%。
作者介绍了 ALHR（Adaptive Learnable Hierarchical Routing，自适应可学习分层路由），一种基于静态二叉树与可学习函数的稀疏注意力系统。在 MQAR 测试中，每个查询平均仅读取约 30 个键（相比之下稠密注意力需要读取 512 个），实现了约 35.3 倍的 KV 压缩，同时保持接近的准确率，并将推理复杂度降至 NlogN，显存占用线性扩展。
本文档研究了基于SVD的KV缓存压缩中"仅编码器修复"的参数高效微调方法，发现当为每个实验组单独调整学习率后，仅训练编码器（冻结解码器）以3倍更少的可训练参数和3倍更少的优化器内存即可达到与全量微调相同的精度，同时揭示了共享学习率在比较不同参数量微调方案时的常见实验缺陷。
DeepSeek-V4.1-Flash 是一个多模态混合专家（Mixture-of-Experts）模型，拥有 552B 骨干参数和 100 万 token 上下文，通过 CSA2 和 FP4 缓存实现了大幅的 KV 缓存压缩，将 HBM 占用降低到每 token 约 890 字节，同时提升了智能体（agentic）任务的性能。
本文指出，AI 竞赛的叙事已经发生转变：西方实验室如今正悄悄采用中国在开放方面的技术进展，例如 DeepSeek 的 KV 缓存压缩技术（体积比 V1 小 437 倍），这已推动 Anthropic 和 OpenAI 的推理及缓存 token 定价大幅下降。
本文在使用分块 KV 缓存压缩的模型中发现了“相位敏感性”现象：检索准确率以与压缩步长相同的周期振荡，在 128K token 时甚至会导致答案翻转或长上下文准确率偏移高达 40 个百分点。通过受控的 0.6B 预训练实验，该效应被证实源自压缩机制本身。
StepKV是一种面向LLM代理的步骤感知KV缓存压缩方法，通过保留推理步骤，在低内存预算下保持准确性，解决了多步推理中推理连续性中断的问题。
一条推文分享了三篇来自Hugging Face Daily Paper的有趣论文，内容涉及本地LLM的KV缓存压缩进展和代理框架优化。
介绍了DeepSeek-V4.1-Flash，一个多模态混合专家（MoE）模型，拥有552B参数，采用先进的KV缓存压缩技术，以降低部署成本并提升长上下文代理工作负载的效率。
SGD-KV是一个框架，利用摘要来指导大型语言模型中的KV缓存压缩，在上下文长度高达100万token时，将内存使用量减少高达75%，同时在长上下文基准测试中实现最先进的性能。
HeadWiseKV 是一个无需训练的框架，用于压缩混合长上下文语言模型中的KV缓存，在保持质量的同时减少GPU内存使用并扩展上下文长度。
SemKV引入了一个基于经验测量的质量悬崖引导的KV缓存混合精度量化框架，在长上下文LLM推理中实现了显著的存储减少，且没有可检测的质量损失。
HyQuant 通过保留关键垂直线令牌和局部窗口在高精度下，同时量化其余部分，从而改进低比特LLM注意力量化，以低开销维持准确性。
PuzzleKV是一种无需训练的方法，用于压缩大语言模型中的键值缓存，采用基于页面的低秩分解，以约60%的存储实现超过96%的性能。
本文比较了张量并行和KV缓存压缩技术在内存受限LLM服务中的应用，发现压缩通常更经济，并讨论了基于模型大小与设备内存相对关系的决策规则。
Minima-KV 提出了一种基于混合格式分页注意力的保持保留KV缓存压缩方法，旨在减少长上下文LLM服务中的内存占用，并在基准测试中评估了其性能。