importance-scoring

标签

Cards List
#importance-scoring

ProxyKV: 跨模型代理剪枝实现高效长上下文LLM推理

arXiv cs.LG · 2026-05-19 缓存

ProxyKV是一种跨模型代理剪枝框架,将重要性评分卸载到轻量级小模型上,以更低的预填充开销实现高精度KV缓存剪枝,在Llama-3.1、Qwen-2.5和Qwen-3系列上匹配KVZip的准确率。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈