long-context-inference

PuzzleKV是一种无需训练的方法，用于压缩大语言模型中的键值缓存，采用基于页面的低秩分解，以约60%的存储实现超过96%的性能。