tensor-level-allocation

标签

Cards List
#tensor-level-allocation

Gemma 4 12B Q3:通过张量级量化分配实现 +8.55% 编码性能提升

Reddit r/LocalLLaMA · 昨天

一位开发者创建了一个任务感知的 GGUF 量化流水线,利用张量级比特分配,在手调 imatrix 基础上将 Gemma 4 12B Q3 的编码性能提升了 8.55%,而模型大小仅增加了 0.119%。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈