prefetching

OasisKV是一个以内存为中心的LLM推理系统，通过使用来自推测解码的前瞻令牌预取稀疏且重要的KV块，将完整KV缓存存储与HBM解耦，与密集vLLM相比实现了高达2.1倍的吞吐量提升，且精度损失极小。

本文解释了作者如何通过在keyDown时预取建议和缓存，实现了在2.4亿个域名上自动补全的p99零毫秒感知延迟，并基于Tranco和CZDS数据构建了快速API。