推测性缓存预热：在输入提示词时预热缓存，节省10-20秒等待时间

https://preview.redd.it/0g9l1pvqsdch1.png?width=603&format=png&auto=webp&s=33b554fa2e8344205dc586fb4080bb4e472c8abb 大家好，我一直在持续改进OpenFox（MIT许可证——没有任何商业模式），这是一个专注于本地AI的框架，主要针对编程，但你也知道，它也能做其他任何事情。我每天都在用，配合我的2x Spark集群，最近主要使用DS4 Flash。我注意到一个微小的改进机会，虽然算不上革命性，但某种程度上让我豁然开朗。当你创建一个新会话并开始输入提示词时，本地设备会有一段空闲时间。然后你发送提示词，会话开始，你的LLM需要处理：系统提示词（包含AGENTS.md、你的偏好）——根据项目与设置不同，约5K到10K token；工具数组——约1K token；以及提示词本身。我想：“为什么不用这段时间来预热上下文，使用与我发送提示词时完全相同的系统提示词呢？”这就是“推测性缓存预热”的概念。系统提示词加工具数组在你输入时被处理，然后当你发送提示词时，只需处理提示词本身。以500 tps的提示词处理速度计算，这轻松节省10秒，使交互体验更流畅。这是一项边际改进，但基本上是零成本的。 —— 顺便提一下，这正是“本地LLM优先”框架对细节的关注。例如，我花了很多精力确保不会破坏缓存，比如保持稳定的系统提示词和工具，并采用仅限主动选择的缓存失效机制（例如，如果AGENTS.md文件更新了，你可以选择随之更新系统提示词）。