标签
一篇对 Spiritbuun 的 llama.cpp 分支的赞赏文章，重点介绍了其新的可变比特率（VBR）KV 缓存功能，该功能动态降低缓存精度以适应 VRAM，从而实现更大的自动适配上下文大小且速度损失极小。