low-rank-reconstruction

标签

Cards List
#low-rank-reconstruction

基于熵与低秩重构的高保真KV缓存摘要

Hacker News Top · 2026-04-19 缓存

提出一种SRC流水线,通过基于熵的选择和低秩重构对KV缓存进行摘要,而非直接裁剪token,在百万token的LLM上下文中降低显存占用,同时避免灾难性注意力错误。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈