标签
Introduces Archer, a training-free KV caching method for diffusion language models that adaptively reuses cached hidden states to reduce recomputation while preserving rollback capabilities, achieving up to 2.95x speedup and improved generation quality.
一条推文推荐了一篇arXiv论文，该论文为应用数学家讲解了Transformer的数学基础，涵盖分词、嵌入、多头注意力和KV缓存。
详细解析了为什么向ChatGPT上传大型PDF不会显著减慢响应时间，涉及流式传输、KV缓存和并行预填充阶段等技术。
解释了KV缓存如何通过消除注意力键和值的冗余重计算来加速LLM推理，在速度与内存之间进行权衡，并介绍了生产级缓存管理挑战。
一篇详细阐述LLM推理关键概念的推文：注意力机制、KV缓存、分块预填充以及批处理技术，包括vLLM和SGLang中使用的连续批处理。
一篇新帖子强调了扩散LLM的一个缺点：双向注意力机制导致键值跨步骤漂移，破坏了KV缓存。不过，生成质量对轻微的KV漂移具有鲁棒性，研究重点已放在最大化陈旧KV重用而不导致质量下降上。
一位开发者分享了一种架构模式，用于管理持续运行的Anthropic智能体循环中的上下文窗口膨胀问题，采用KV缓存、动态工具模式加载，以及通过Claude 3.5 Sonnet和Claude 3 Opus解耦执行器与顾问角色。
本文提出BiCache，一种面向扩散语言模型共享前缀的新型KV缓存技术，通过动态重用浅层中缓存的键和值来避免精度崩溃，并实现36.3%–98.3%的吞吐量提升。
KV Packet 提出了一种免重计算的缓存复用框架，用于大语言模型。该框架使用可训练的软标记适配器来弥合上下文不连续性，消除了开销，同时在 Llama-3.1 和 Qwen2.5 上的性能与完全重计算基线相当。
oMLX 是一个用于在 Apple Silicon Mac 上进行优化 LLM 推理的新开源工具，具备持续批处理和分层 KV 缓存功能，并通过菜单栏应用进行管理。