标签
Buun 推出了 VBR（可变比特率），这是一种新的 KV 缓存格式，可动态量化各层以在 VRAM 限制下优化质量，现已可在 master 上使用。
一篇对 Spiritbuun 的 llama.cpp 分支的赞赏文章，重点介绍了其新的可变比特率（VBR）KV 缓存功能，该功能动态降低缓存精度以适应 VRAM，从而实现更大的自动适配上下文大小且速度损失极小。