per-query-read-depth

标签

#per-query-read-depth

Fathom：基于卸载KV缓存的稀疏解码的逐查询读取深度

arXiv cs.LG ↗ · 2026-09-17 缓存

Fathom提出了一种基于卸载KV缓存的稀疏解码的逐查询读取深度方法，通过动态调整比特读取来减少内存访问开销，从而提升长上下文AI会话的效率。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈