variable-rate

介绍VarRate，一种无训练的KV缓存压缩方法，根据查询显著性为每个令牌分配可变低秩预算，避免了不可逆的令牌驱逐，并且在LongBench上以匹配的内存预算优于均匀秩方法。