value-aware

VaSE是一种无需训练的KV缓存驱逐方法，它保护大数值幅度的值状态，并引入随机性，以提高压缩下推理模型的准确性，超越了现有方法。