eviction-policy

一种针对LLM前缀缓存的新型语义自适应驱逐策略，学习不同令牌类型间的令牌重用模式，相比现有策略实现了1.4倍至2.7倍的TTFT提升。