标签
本文通过在答案生成后干预 KV 缓存，研究大语言模型如何判断其答案来自所提供的文档还是参数化知识。研究发现，模型对来源的报告与缓存的问答状态存在因果关联，而非与文档缓存相关；在较小的模型上，施加引导方向几乎能使所有来源报告发生翻转。
讨论指出 DeepSeek 开源的 DeepInfer 是为 DeepSeek 4.1F 深度定制的推理框架，其 KV cache 极度优化（每 token 仅 890 字节），因此任务调度完全无需考虑显存容量；相比之下 Kimi 系列模型 KV cache 开销高出 15-30 倍，导致推理性能和用户体验不佳。
提出 KVLearn——一种面向分离式 LLM 服务架构的基于学习的 KV 缓存保留框架，通过前缀复用预测、成本感知保留分数和自适应阈值控制，端到端首 token 延迟最多降低 56%，节点间 KV 传输量最多减少 53%。
一篇提出「缓存工程（cache engineering）」的论文：让 LLM 智能体通过 drop 和 repos 操作直接操纵自身的 KV cache，同时不使轨迹失效；该方法与 AKV 服务引擎协同设计，实现了 27.7% 的成本降低、1.2 倍吞吐量提升，并通过缓存策略的递归自我改进进一步节省 7.1%。
swyx 认为市场尚未将这一事实纳入定价：每一块售出的 GPU 终身价值提升了约 30%。他引用了 Latent.Space 对 DeepSeek 产能数据的分析：每天 155T tokens 的产出、高缓存命中率以及约 80% 的 GPU 成本利润率。
来自 Inferact 的 Simon Mo 在 PyTorchCon 2026 上介绍了 vLLM 项目的最新进展，重点展示了跨 TPU、AMD 和 NVIDIA 硬件的 KV cache 管理和内核优化，以应对 LLM 在性能和可扩展性方面面临的挑战。
将于10月20-21日在圣何塞举办的PyTorch北美大会将展出来自Moreh的Bongwoo Bak关于KV缓存块放置的海报，涵盖vLLM在GPU、CPU和共享存储之间的卸载策略。该推文还介绍了大会的注册等级和票价信息。
提出 AKV 的缓存工程方案，让 LLM 智能体在不修改轨迹的前提下直接操作 KV 缓存（drop/repos），并配合协同设计的 serving 引擎，在降低成本与延迟的同时提升基准分数。
AWS 在 vLLM 中引入了基于推送的 NIXL 连接器，将 KV 缓存传输协调从分离式预填充-解码推理的关键路径上移开，在配备 EFA 的 EC2 P5en 实例上实现了最高 3 倍的 TTFT 提升和 30% 的 TPOT 优化。
Blockway 团队发布了 Volundr 32B 模型及自研 Agens Engine 推理引擎（MIT 开源），通过让 72 层中的 54 层使用固定大小状态替代增长的 KV cache，使 262K 长上下文能在 16 GB GPU 预算内运行，并演示了 110K token 冷读约 69 秒、后续追问 0.5 秒回答的实测。
对 Nemotron 3.5 Bolt 的上手评测，介绍其高效的 KV 缓存、2-bit/NVFP4 量化以及 Mamba2 混合注意力机制，这些特性使其在有限硬件上非常适合小型多用户场景，尽管以当前标准来看其智能水平只能算一般。
Neuralwatt 分析一个月云端流量发现，agent harness 如何构建 prompt 决定了大量 GPU 计算量：缓存命中率差异导致未缓存输入在 1.6% 到 11.1% 之间，一次缓存失效大致会让请求能耗翻倍，且这些问题多数可通过避免编辑已发送内容来修复。
一篇综述论文，将长上下文压缩重新定义为大语言模型的内存管理问题，并将提示词压缩、KV 缓存管理、检索增强和智能体记忆统一纳入一个采用预算约束成本模型的信息生命周期框架。
RoLaQ提出了针对多头潜注意力（MLA）模型的2位KV缓存联合旋转与范围校准的离线量化方法，在DeepSeek-V2-Lite上实现3.96倍BF16 KV容量和2.51倍解码吞吐提升。
DLite提出一种无历史上下文的投机解码框架，通过复用目标模型的隐状态进行局部预测并省去历史KV缓存维护，在agentic工作负载下将接受长度提升至2-6，较SOTA方法DSpark提升最高70%。
一项社区基准测试评估了 21 种能在 16GB 显存内运行的 Qwen3.8 27B 模型/KV 量化组合（189 项基准测试），发现 q5_1/q5_1 通常是最优选择，而提高模型量化级别（q4_0/q4_0）优于在完整 f16 KV 缓存下使用更低的量化级别。
Titan-Llama 提出一种后训练方法，通过分层记忆架构和测试时参数更新，将预训练注意力模型改造为具备外部神经记忆模块的长上下文高效推理模型，在 QuALITY 和 LongHealth 上显著提升准确率并降低推理延迟与显存占用。
论文提出联合子空间稀疏注意力（JSSA），通过学习共享低维查询-键子空间并设计免gather的索引注意力核，在128K上下文下实现最高6.43倍解码吞吐提升，同时保持接近全KV的精度。
提出 First Passage Attention（FPA），用路径极值替代单调衰减累积，从而在压缩 KV 缓存的同时实现完美的长程检索；在 110M 语言模型上以约 25% 缓存达到 8 倍训练长度的 passkey 检索。
该论文研究长上下文 LLM 服务中远程 KV 缓存层级的性能瓶颈，提出按并行 rank 分片 MLA KV 存储、异步加载等优化，将 p99 延迟从 83.32 秒降至 0.67 秒，并显著提升预填充吞吐。