confidence-aware

CONF-KV 是一种KV缓存管理系统，利用模型不确定性动态调整缓存保留策略，从而提升长上下文大语言模型推理的内存效率，同时将困惑度控制在1.5-2.1个点以内。