标签
作者分享了他们在过去6-8个月里在ML系统和AI基础设施方面的工作，包括一个轻量级的Python LLM推理引擎（tachyon），在消费级硬件上通过连续批处理和前缀缓存实现了每秒600+ tokens，还有关于CUDA/CUTE DSL和集体通信的博客文章，以及对SGLang和vLLM的贡献。
Trellis引入RadixAttention，通过使用基数树缓存前缀令牌来优化LLM推理的预填充阶段，减少聊天和智能体会话中的冗余计算。
vLLM 集成了 Mooncake Store 用于分布式 KV 缓存重用，支持跨节点前缀缓存，高效服务具有高令牌重用的代理工作负载。
ObjectCache提出使用S3兼容的对象存储来实现LLM KV缓存的重用，以降低成本并增加容量，同时通过协同设计的存储协议和传输调度将延迟开销降至最低。实验表明，对于64K上下文，相比本地DRAM仅增加5.6%的延迟。
Reasonix 是一款针对 DeepSeek 模型优化的终端 AI 编程代理，通过稳定前缀缓存实现了 99.82% 的缓存命中率，并将每次工作负载的 token 成本从约 61 美元降至约 12 美元。
一种针对LLM前缀缓存的新型语义自适应驱逐策略，学习不同令牌类型间的令牌重用模式，相比现有策略实现了1.4倍至2.7倍的TTFT提升。
Reasonix 是一个专为 DeepSeek API 前缀缓存机制设计的终端 AI 编程代理，通过缓存优先架构在长会话中实现超低 token 成本。实测 4.35 亿输入 token 仅花费约 12 美元，缓存命中率 99.82%。
本文针对混合和循环大语言模型提出了稀疏前缀缓存方法，该方法在有限的检查点位置存储循环状态，从而避免密集缓存，同时最小化重计算量。在真实数据上，该方法优于标准启发式方法，尤其是在请求共享大量但非完全相同的前缀时。