eviction

介绍了Nexus Sampling，一种无需训练的KV-cache驱逐方法，采用加权蓄水池采样代替确定性top-k选择，在固定内存预算下提升了长上下文LLM推理性能，在80%驱逐率下达到与密集注意力相匹配的性能。

VaSE是一种无需训练的KV缓存驱逐方法，它保护大数值幅度的值状态，并引入随机性，以提高压缩下推理模型的准确性，超越了现有方法。

介绍了 triattention v3，一种新的注意力机制，能够在长上下文推理中实现安全驱逐且不丢失召回，并在混合 mamba+attention 模型上演示了高达 256k 令牌的效果。