frequency-guided

标签

Cards List
#frequency-guided

FreqDepthKV: 频率引导的深度共享实现长上下文LLM推理中鲁棒的KV缓存压缩

arXiv cs.AI · 2026-07-08 缓存

提出FreqDepthKV,一种用于长上下文LLM推理中KV缓存压缩的频率引导深度共享方法。该方法将相邻层的KV状态分解为共享的低频成分和稀疏的高频残差,在保证基准测试精度的同时提升内存效率和吞吐量。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈