我解决了 KV-cache 问题

Reddit r/AI_Agents 工具
kv-cache open-source local-llm memory-optimization infinite-context catalyst-brain

摘要

作者开源了一种名为 catalyst-brain 的新型 KV-cache 解决方案，声称可大幅降低本地模型对 RAM 的需求，并可能实现无限上下文窗口。

我开源了一个 kv-cache 解决方案……可以说是彻底解决了这个问题。这是一个基于我闭源/免费增值 SDK catalyst-brain 构建的适配器。这并非又一种压缩方案，而是一种全新的解决方案。它极大地降低了运行本地私有模型的门槛，因为随着上下文的增加，内存需求不再会急剧膨胀。我正在开发一种变体方案，可实现某种意义上的无限上下文窗口技巧——我也会发布该变体的适配器。祝各位玩得开心！
查看原文

相似文章

也许将KV缓存卸载到RAM并不差

Reddit r/LocalLLaMA

一位用户分享了在llama.cpp中将KV缓存卸载到RAM的经验，在释放显存以便运行更大模型和上下文窗口的同时，实现了相近的速度，表明这种权衡通常是值得的。

您可以将Qwen3.8-Flash-Next模型的大部分KV缓存卸载到RAM中，而不会明显影响解码速度。 在使用8bit量化的Qwen3.8-Flash-Next模型时，KV缓存大小约为每token 12.5MB。通过将大部分KV缓存从显存移至RAM，并只在显存中保留少量热数据，可以显著扩大显存能够支持的上下文长度。这种混合存储方式仅会增加约1.2ms的延迟，对实际推理速度影响微乎其微，为处理超长上下文提供了一种高效且低成本的解决方案。

Reddit r/LocalLLaMA

演示了将Qwen3.8-Flash-Next模型的KV缓存卸载至系统内存的技术，通过利用该模型高效架构，可在最大程度减少解码速度下降的情况下支持长上下文推理。