prefetching

PreSTO 提出一种预测性子树预取方法来加速 PowerMH 功率采样器，通过批量预取未来的 MH 提案并保持转移核不变，在七个数据集和五个大语言模型上实现了 1.71×–2.33× 的中位加速。

论文提出了 KVFetch，一个无需训练的框架，通过在基于评分的 KV cache 压缩器中加入时序召回通道，解决压缩导致的"序列遗忘"问题（即压缩后逐字复制能力失效），将复制性能从 0.8 恢复至 78.4，并在相同预算下将 RULER-16K 平均得分提升 +8.4。

这篇文章讨论了语音代理中内存检索的关键挑战，强调了测量每轮 P99 延迟、使用预取以及预算内存令牌以减少延迟并改善用户体验的必要性。

OasisKV是一个以内存为中心的LLM推理系统，通过使用来自推测解码的前瞻令牌预取稀疏且重要的KV块，将完整KV缓存存储与HBM解耦，与密集vLLM相比实现了高达2.1倍的吞吐量提升，且精度损失极小。

本文解释了作者如何通过在keyDown时预取建议和缓存，实现了在2.4亿个域名上自动补全的p99零毫秒感知延迟，并基于Tranco和CZDS数据构建了快速API。