entropy-guided

SeKV是一种分辨率自适应的KV缓存方法，它将上下文组织成基于熵引导的语义片段，并存储在GPU-CPU层级结构中，从而在解码过程中实现选择性Token级重建，同时在128K上下文下相比全缓存减少53.3%的GPU内存占用。

提出EntMTP，一种无需训练的调度器，基于局部熵估计自适应调整树形注意力拓扑以进行投机解码，相较于Hydra实现1.09-1.15倍加速，相较于Medusa最高达1.36倍加速。