标签
NVIDIA及其合作者的一项最佳论文研究引入了WorldTrace，这是一个无需训练的框架，通过分配固定的槽位秩位置，使自回归视频世界模型中的压缩记忆保持可寻址，从而实现连贯的长程生成和超越训练视野的长距离回忆。
SPECTRA is a training-free codec that re-encodes LLM KV caches via spectral transform to concentrate bit budgets on important channels, achieving near-lossless 4x compression and usable compression up to 12x, surpassing the 2-bit quantization cliff.
CommitKV提出了一种面向多轮ReAct智能体的生命周期感知KV缓存压缩方法，通过提交转换区分休眠令牌与已完成令牌，以减少内存使用并加速推理。
一篇博客文章，解释了在代理型工作负载中，缓存读取成本主导了LLM推理开销，随着每轮重新读取上下文，累计成本呈二次方增长，并建议减少工具调用次数以降低成本。
有用户报告称，在单个 RTX 3090 上，使用基于 Qwen 的 35B A3B 模型（占用 17 GB 显存），配合 BeeLlama.cpp 分支中的 KVarN 4-bit KV 缓存量化，成功运行了 100 万 token 的上下文，并从文本不同位置提取出 7 根针。
CoinRAG is a new method for long-context RAG that reuses fine-grained contextualized information nugget KV caches instead of full chunks, improving efficiency and answering quality. It achieves a new Pareto frontier with 5.3% relative F1 improvement on LongBench multi-hop QA tasks.
AoH is a data-free method that identifies retrieval and streaming heads from the spectral geometry of query-key projections, enabling sparse attention without runtime attention scores. At 50% sparsity it retains 96.5% of full-attention performance while reducing prefill/decode latency and KV-cache memory.
发现 DeepSeek V4 flash 在 vLLM 本地部署中的 KV 缓存失效 Bug：切换 Session 后前缀缓存命中率为 0，导致重新 Prefill，耗时从约 1 秒暴涨到约 100 秒。根因疑为 vLLM 重用 free queue 块时调用 _maybe_evict_cached_block() 删除了缓存索引。
一篇分析1350万次GitHub Copilot会话的微软论文显示，编码代理的工作负载主要由自主LLM调用链主导，KV缓存和容器空闲时间强烈依赖于回合/会话结构，主张采用工作流级调度而非请求级策略。
作者分享了他用 DeepSeek 的潜在注意力训练一个小模型的见解，观察到潜在空间的使用因层而异，以及一个可以将 KV 缓存减少 4 倍且损失不变的测试时技巧。
OasisKV是一个以内存为中心的LLM推理系统，通过使用来自推测解码的前瞻令牌预取稀疏且重要的KV块，将完整KV缓存存储与HBM解耦，与密集vLLM相比实现了高达2.1倍的吞吐量提升，且精度损失极小。
关于使用多种 GGUF 和 KV 缓存量化方式对 LiquidAI 的 LFM2.5-2.6B 模型进行量化的详细报告，显示该模型可适配 8GB 树莓派且性能下降极小，但提醒不要使用 Q4_K_M。
This paper introduces QEvict, a KV-cache management scheme for LLMs that uses recoverable quantized eviction to handle attention drift during long-context decoding, improving memory efficiency while preserving important historical context.
一位开发者展示了如何使用 llama.cpp 在 Amazon Echo Dot 2 上本地运行 28M 参数 LLM，生成速度约 4 tokens/s，通过提示缓存实现约 2.3 秒延迟，从而支持简单的离线语音命令。
技术帖分享了在 2x RTX 5070 Ti GPU 上使用 vLLM cu129-nightly 运行 Qwen 27B 的性能数据，解码速度最高可达 94-87 tps，GPU KV 缓存达 170k。
介绍了BinaryPC，一种面向长上下文大语言模型的无训练哈希稀疏注意力方法，利用二值主成分构建哈希码，在保持准确率的同时，解码吞吐量较FlashAttention提升了3.56倍。
本文提出NOVA-KV，一种用于KV缓存量化的变换编码方法，它利用注意力保持变换在查询实际关注的位置分配比特，与先前方法相比，在低比特率下提高了长上下文检索精度。
讨论Transformer做大规模推理的瓶颈，并梳理2023到2026年间大模型推理优化技术的演进，包括KV cache量化、推测解码、架构创新和软硬件协同设计。
AnchorKV is a new KV cache compression scheme that shrinks the cache by 20x without discarding any tokens, using anchor-residual representations to preserve 99% of full-cache accuracy at the 70B scale. The paper is a preprint under review.
提出了OptR，一种用于INT2 KV缓存量化的输出感知旋转方法，可最小化输出后的注意力误差，在多个模型和基准上改进QuaRot和OSCAR。