标签
一篇提出「缓存工程（cache engineering）」的论文：让 LLM 智能体通过 drop 和 repos 操作直接操纵自身的 KV cache，同时不使轨迹失效；该方法与 AKV 服务引擎协同设计，实现了 27.7% 的成本降低、1.2 倍吞吐量提升，并通过缓存策略的递归自我改进进一步节省 7.1%。
SparseEngine 是一个从零构建的稀疏优先推理引擎，其共享的生命周期契约使每种稀疏注意力方法都能自主控制其 KV 表示与计算。与 vLLM 相比，结合 KV 淘汰可实现超过 10 倍的吞吐量提升，并在 Agent 基准测试中带来超过 2 倍的端到端加速。
LLMSys-PaperList 是一个在GitHub上精心策划的阅读列表，它将LLM系统研究论文和资源组织成实用的类别，如训练系统、服务系统和多模态覆盖，帮助AI/ML工程师和研究人员保持更新。