kv-cache

vLLM 推出基于推送（push-based）的 NIXL KV 缓存传输机制，将传输协调与准备工作移出关键路径，在分离式预填充/解码推理中最高可将 TTFT 改善 3 倍、TPOT 改善 30%。该功能在 AWS Trainium/EFA 集群上开发验证后，作为加速器无关特性贡献给 vLLM。

发布了 Qwen 3.8 27B 的两个后训练版本 Sabi-Noema 与 Sabi-Noema-MLA，在代码、智能体和工具调用能力上提升，同时将回答冗长度和推理 token 消耗减少约一半，并通过无训练的 MLA 注意力转换将 KV cache 最多压缩 8.4 倍。

提出PN-Mix，一种面向RoPE解码器LLM的混合精度键缓存量化方法，通过查询-键对范数识别显著通道对，在约2.26位平均精度下达到或超越现有方法在2.32–2.39位下的精度，且可优雅降级至1.5位。

预告在 PyTorch Conference North America 上，来自 AMD 的 Huanran Wang 将展示海报 FlexBudget：在统一的 FlexAttention 编译内核与固定显存预算下，只替换 KV 重要性规则，从而对长上下文 KV cache 丢弃策略做公平、免训练的对比。

At DigitalOcean's Open Intelligence Summit, Yifan Qiao of Inferact presents a Serve track session on running vLLM for agentic production workloads, highlighting why prefix caching and KV-cache reuse matter more for agent traffic than raw tokens per second.

该推文总结了优化 LLM 推理的 12 种 KV 缓存技术，包括滑动窗口、跨层共享、MLA、量化、前缀复用、分页、驱逐和 GQA/MQA 等，帮助开发者根据具体瓶颈选择合适的组合。

论文提出 Virtual Head Attention (VHA)，通过轻量级线性 Q Premix 与 Linear Postmix 操作同时优化 KV cache 大小、训练/prefill FLOPs 与模型质量，在多个规模上超越 GQA 基线，并将 KV cache 相比 GQA-8 减少 4 倍。

作者系统整理了本地部署模型的加速方案，包括在 macOS 上结合 Turbo、MLX、VAE Q8 和前缀 KV cache 让 Qwen-Image 2.1 提速近 5 倍，以及用 Uzu 的投机解码把 Qwen3.5-9B 从 22 tok/s 提升到 92 tok/s、用 TensorRT 让 Qwen 在 RTX 5090 上比 llama.cpp 快 3 倍等案例。

本文提出 KV-Repurpose，一个基于 vLLM 的开源测试平台，用于评估超越精确前缀匹配的分段 KV-cache 复用；在 Zipfian RAG 负载下，其 token 级缓存命中率达到 63.9%，远高于前缀缓存的 3.3%，并显著降低 TTFT。

作者通过与几位构建 AI agent 的开发者交流，总结出批量 agent 任务的共同模式（延迟容忍、无交互、大批量），并指出现有实时与批量推理 API 均无法很好满足这类工作负载，尤其是 KV cache 命中率问题导致批量 API 实际上难以节省成本。

A user reports strong single-request decode speeds running Qwen3.8-Flash-Next in Unsloth's UD-Q4_K_XL quant on Strata with an RTX PRO 6000, showing roughly 2x faster throughput than vLLM on the same GPU across prose, counting, coding, and reasoning tasks.

清华团队发表 TokenRouter 论文，提出一种按 token 级别在大小模型间路由的 LLM 服务系统，通过独立服务器协作与 KV cache 传递，在 5 种路由方法上实现相比现有最强框架 2.01 到 64.15 倍的吞吐提升。

提出名为 galahad-kv 的记忆层，将 KV 注意力状态持久化到加密 NVMe 存储，实现 5000 万 token 的长期记忆窗口，恢复比重新计算快 2.8–4.3 倍且 GPU 能耗降低 8.8–12.3 倍，并保持恒定显存。

RaReCache 提出一种基于秩分歧（rank disagreement）的选择性重计算框架，使大型模型能够直接复用小型模型预填充的 KV 缓存，在大幅缩小参数差距的同时保留 95-99% 的目标精度，并实现最高 3.04 倍的预填充加速。

PyTorch 博客介绍 NVIDIA Dynamo 如何通过统一的 session 级标识符，将请求级推理服务系统升级为程序感知系统，实现会话感知路由、共享 KV 缓存索引与跨 vLLM/SGLang 的程序化缓存迁移，以高效服务具有长上下文和并行子代理的 agentic 工作负载。

IBM Research and UIUC researchers propose Universal Attention, a self-pruning transformer framework combining first- and second-order key statistics into expressive forget gates that preserve RoPE and Softmax attention while achieving state-of-the-art 10x KV-cache compression and 25x compression at 16k context length.

The paper proposes KITE, a training-free framework that shifts latent multi-agent KV communication from sender-side state fidelity to receiver-side task sufficiency, transmitting only a task-effective key layer. Experiments show 28-36× communication reduction, up to 3× inference speedup, and accuracy gains of up to 23.3 percentage points across seven benchmarks.

The paper introduces KVFetch, a training-free framework that adds a temporal recall channel to score-based KV cache compressors to fix "sequential forgetting" (verbatim copying breaking under compression), recovering copying performance from 0.8 to 78.4 and boosting the RULER-16K average by +8.4 at iso-budget.

EncBank extends CoMem's intermediate-state interface, treating an LLM's lower layers as a reusable document encoder whose compact low-bit outputs can be cached and reused across queries. Evaluated on Qwen backbones, 4-bit storage nearly matches native precision while cutting persistent storage to 28.1%, with notable prefill speedups at some accuracy cost.

作者基于一个月的重度使用体验，认为 DeepSeek 4.1 Flash 在编程任务上已与 Claude Opus 等前沿模型难以区分，但成本低几个数量级，业界却未因此震动。文章指出 KV 缓存缩减约 437 倍使全天会话成本不到一美元，预示便宜且'足够好'的中国模型正在改变开发者的工作方式。