cache-management

Kent C. Dodds宣布推出一个针对Kody的包应用套件，它能够运行全栈Remix应用，并集成了设计令牌、PWA支持、错误处理和实时同步等功能。

作者发布了一款名为 cache-pressure 的开源工具，用于基准测试本地 LLM 推理引擎在压力下的 KV 缓存上下文保留能力，帮助用户验证实际缓存容量与宣传指标是否一致。

CacheScout是一个用于多智能体LLM服务的智能体感知KV-Cache运行时层，它在线学习智能体执行语义，以指导缓存淘汰和预取，从而提高缓存命中率并降低延迟。

本文提出了一种KV缓存逐出策略，通过反因果惊奇度对令牌进行评分，移除那些可以从未来上下文中很好预测的过去令牌。该方法无需训练、分布内，并通过快速的单层近似实现了具有竞争力的性能。

LMCache 是一个开源的 KV 缓存管理层，它将缓存 I/O 与计算分离，可插入 vLLM、SGLang 和 TensorRT-LLM，通过并行化缓存查找和共享 GPU 内存，实现高达 14 倍的首 token 延迟降低和 4 倍的解码加速。