persistent-cache

CachyLLama是llama.cpp的一个分支，它增加了基于SSD的持久化KV缓存和多层缓存，显著减少了在较慢硬件上长时间本地代理会话的提示重新处理时间。