quantized-kv-cache

标签

Cards List
#quantized-kv-cache

我将量化KV缓存的修复合并到我的DeepSeek V4分支中

Reddit r/LocalLLaMA · 2026-07-04

将量化KV缓存的修复合并到llama.cpp的DeepSeek V4分支中,并提供了f16、q8_0和q4_0缓存类型的基准困惑度结果。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈