SparseEngine：稀疏优先推理引擎

Hugging Face Daily Papers 论文
inference-engine sparse-attention kv-cache long-context llm-agents serving-systems

摘要

SparseEngine 是一个从零构建的稀疏优先推理引擎，其共享的生命周期契约使每种稀疏注意力方法都能自主控制其 KV 表示与计算。与 vLLM 相比，结合 KV 淘汰可实现超过 10 倍的吞吐量提升，并在 Agent 基准测试中带来超过 2 倍的端到端加速。

长上下文 LLM Agent 会不断累积交互历史，给 KV 缓存内存和注意力计算带来巨大压力。尽管稀疏注意力能够降低这些开销，但异构的缓存表示和工作流阻碍了其与现有推理引擎的集成，而既有的稀疏推理抽象通常只支持特定的布局或工作流。我们提出了 SparseEngine，一个从零构建的稀疏优先推理引擎。其共享的生命周期契约使每种方法都能自主控制自身的 KV 表示与计算，同时与通用的推理服务基础设施协调状态转换。SparseEngine 支持覆盖四大类别的 15 种方法，并通过 Chain Cache 实现跨请求的状态管理——它能够基于保留的历史恢复 KV 淘汰方法——以及可控的 Prefix-Cache Pruning，后者在从选定的历史区域中移除 KV 的同时保持逻辑前缀匹配。在保持各方法原有质量的前提下，SparseEngine 结合 KV 淘汰实现了超过 10 倍的吞吐量提升，在相同并发下解码速度比 vLLM 快 2.5 倍以上，并在 Agent 基准测试中带来超过 2 倍的端到端加速。代码已在 https://github.com/CURRENTF/SparseEngine 开源。
查看原文
查看缓存全文

缓存时间: 2026/10/09 06:24

论文页面 - SparseEngine：稀疏优先推理引擎

来源：https://huggingface.co/papers/2609.39068

摘要

长上下文 LLM agent 会积累大量交互历史，导致 KV 缓存内存和注意力计算压力剧增。虽然稀疏注意力能够降低这些开销，但异构的缓存表示和工作流阻碍了其与现有推理引擎的集成，而先前的稀疏服务抽象仅支持特定的布局或工作流。我们提出了 SparseEngine，一个从零构建的稀疏优先推理引擎，其共享的生命周期契约让每种方法都可以控制自身的 KV 表示与计算方式，同时与通用的服务基础设施协调状态转换。SparseEngine 支持四大类别的 15 种方法，并通过 ChainCache 实现跨请求状态管理——该机制可以从保留的历史中恢复 KV 驱逐方法，同时提供可控的前缀缓存裁剪（Prefix Cache Pruning），在从选定历史区域中移除 KV 的同时保持逻辑前缀匹配。在保持方法质量的前提下，SparseEngine 使用 KV 驱逐时吞吐量提升超过 10 倍，在相同并发下解码速度比 vLLM 快 2.5 倍以上，在 agent 基准测试中端到端加速超过 2 倍。代码已开源：https://github.com/CURRENTF/SparseEngine。

查看 arXiv 页面 (https://arxiv.org/abs/2609.39068)　查看 PDF (https://arxiv.org/pdf/2609.39068)　GitHub 79 (https://github.com/CURRENTF/SparseEngine)　添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.39068)

引用此论文的模型：0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2609.39068，即可从此页面链接过去。

引用此论文的数据集：0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.39068，即可从此页面链接过去。

引用此论文的 Spaces：0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2609.39068，即可从此页面链接过去。

包含此论文的收藏集：0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接过去。

相似文章

SparDA：用于高效长上下文 LLM 推理的稀疏解耦注意力

arXiv cs.CL

SparDA 提出了一种解耦稀疏注意力架构，通过添加轻量级"Forecast"投影来预测未来的 KV 缓存需求，从而实现从 CPU 到 GPU 的预取（lookahead prefetching），并降低选择开销。在基于稀疏预训练的 8B 模型上，其 prefill 速度最高可提升 1.25×，decode 速度最高可提升 1.7×，相比非 offload 基线，decode 吞吐量最高可提升 5.3×。