on-demand-budgeting

标签

#on-demand-budgeting

GrowPage：面向高效LLM推理服务的按需KV预算管理

arXiv cs.AI ↗ · 2026-09-04 缓存

GrowPage 是一个按需KV预算框架，它动态管理缓存容量以提高LLM推理服务的效率，相比现有方法实现了更优的性能-吞吐量权衡。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈