标签
由 PyTorchKR 和 XCENA 联合主办的 KVCache Meetup Korea 2026 邀请了来自 XCENA、SK 海力士、FuriosaAI 和 LMCache 的嘉宾，围绕 CXL 内存池化、GPU/HBM Roofline 分析、RNGD 上的批次调度以及进程隔离的 KV Cache 服务进行了演讲。
RidgeFill 通过用闭式解岭回归预测深层输入、跳过大部分上层计算来加速 LLM prefill，在 Qwen3.8 系列上实现最高 1.6x 的 TTFT 提速，且几乎不损失检索精度。
一篇关于 NVIDIA 的 TriAttention 研究的讨论，该研究聚焦于 vLLM 中的 KV 缓存压缩，认为真正的收益来自释放 GPU 内存块，而非逐出 token。据报告，解码速度提升至 2.5 倍，KV 缓存内存占用降至原来的 1/10.7。
本文提出了双向 KV 缓存修补方法，用于追踪微调所形成的行为如何在语言模型中实现。研究表明，通过复用 KV 缓存，可以在经 LoRA 微调的模型与其基础模型之间迁移用德语回答或涌现性失对齐等行为，其影响主要集中在系统提示和聊天模板位置等关键词元上。
本文介绍了智能体软令牌压缩（Agentic Soft-Token Compression，ASTC），这是一种无需训练的方法，利用大语言模型原生的循环动态机制（GDN-attention），将智能体的长时程上下文压缩为软令牌，在注意力对数量最多减少 50.68% 的情况下，达到或超过未压缩时的准确率。
一位开发者分享了开源的 vLLM 补丁和 Triton 内核，通过将完整的 int4 KV 缓存保存在系统内存中，并利用秩为 64 的键草图在每个注意力计算步骤中仅提取约 1% 的 token，实现了在两张 RTX 3090 上并发运行 8 个上下文长度为 25 万 token 的编程智能体。据其报告，总吞吐量约为 545–790 token/秒，在 25 万 token 的上下文长度下，召回成绩为 31/32。
一位开发者为 Strata 打了补丁，通过添加 KV 拼接式提示词缓存，并在读取提示词时仅将请求路由到常驻显存的专家，使 DeepSeek V4.1 智能体会话在消费级硬件上的运行速度提升至原来的 20 倍，让一个支持 100 万 token 上下文的模型在游戏显卡上完全离线运行。
一位开发者排查为何在同一台机器上运行本地27B模型的浏览器智能体，相同任务耗时却从40秒到261秒不等，最终发现罪魁祸首是负责校验需求的规则层强制执行了不必要的页面打开操作，而非模型本身的问题。
GAAC 是一种无损 KV 缓存压缩与推理服务系统，通过分组自适应编码和融合注意力内核，利用 BF16 指数部分的冗余，在不对 KV 值进行近似处理的情况下，在 NVIDIA DGX Spark 和 Apple M4 上实现约 1.4 倍的 KV 压缩比和 1.04–1.27 倍的加速。
一项详细的基准测试表明，QEngine 1.3.1（针对 RTX 5090 编译）是单流解码速度最快的 Qwen3.8-Flash-Next 引擎，速度约为 Strata 的 1.4–1.9 倍、调优后的 vLLM 的 3 倍，其 KV-in-RAM 模式可显著提升重新访问空闲会话时的热启动性能。
作者认为，编程智能体的两个常见抱怨——周配额迅速耗尽、无视风格指南写出过度防御性的 TypeScript——根源是同一个注意力缺陷：把"DON'T"反面代码示例粘贴进提示词，会将这些 token 序列加载进 KV-cache，在其中充当语义吸引子，诱导模型恰好输出被禁止的模式，从而触发冗长而昂贵的纠错循环。作者提出一套由四部分组成的正面覆盖式提示结构，并建议用 Graphviz strict digraph 而非自然语言或 Mermaid 向子智能体传递调用图爆炸半径。
开源推理工程仓库的第 6 部分已发布，涵盖使用真实模型推理和 DynamicCache 进行 KV 缓存内存分配、增长、释放，以及容量感知调度。
文章清晰解释了前缀感知的 LLM 路由机制：通过按块哈希提示词并维护块到 worker 的索引，让请求路由到持有共享前缀 KV 缓存的 GPU，实测在 8 个 vLLM Pod（16 张 H100）上将 p90 首 token 延迟从 92.5 秒降至 0.54 秒。
DeepSeek 开源了其推理技术栈 DeepInfer，通过 3FS 复用 SSD 上的 KV 缓存，借助 MLA 将 KV 缓存压缩 93% 的能力，实现首个 token 生成速度最高提升至 26 倍。
WAKMan 是一种面向 LLM 服务器的工作负载感知型 KV 缓存管理器，可根据实时流量自动选择缓存淘汰策略。在混合单轮、多轮及智能体请求的工作负载下，其缓存命中率比 vLLM 的 LRU 策略平均提高 5 个百分点。
本文研究了一种 LSTM 风格的循环 Transformer，其循环核心共享权重和单个键值缓存，在宽度为 1024 时将参数量减少了 40.4%，并将持久缓存组数从十五组减少到四组。通过一致性损失对齐并行与递归训练过程，消除了 81–89% 的续写损失惩罚；在较低的 token 预算下，权重绑定的成本最低。
提出了 RAQ-MLA，一种针对多头潜在注意力（MLA）缓存的角色感知量化方法，无需训练即可将 MLA 缓存压缩至约 2.5 比特，在四个 MLA 模型上的推理与编码任务中几乎无损。
TraceQuery 是一个轻量级稀疏解码框架，通过全去噪轨迹监督预测需要重新计算的少量位置，为扩散大语言模型（dLLM）推理提供最优的质量-计算权衡。
Cloudflare 披露了其 GLM-5.3 Workers AI 模型中的一项租户隔离缺陷：由于 SGLang 配置错误和程序缺陷，跨请求的 KV 缓存暴露导致在 155 次长上下文响应中泄露了其他用户的数据。目前该问题已修复，并对部署进行了安全加固。
提出全双工长时程基准（FD-LHB），发现现有全双工语音模型在长时间对话中会因上下文耗尽或重复、静音、乱码而崩溃，并通过初始化锚点固定和双工重复惩罚两种免重训练修复方法显著缓解对话退化。