标签
WAKMan 是一种面向 LLM 服务器的工作负载感知型 KV 缓存管理器，可根据实时流量自动选择缓存淘汰策略。在混合单轮、多轮及智能体请求的工作负载下，其缓存命中率比 vLLM 的 LRU 策略平均提高 5 个百分点。