ternary-decomposition

标签

Cards List
#ternary-decomposition

我尝试了三元分解而不是量化。它的效果与q4km一样好,但占用稍多的VRAM。同时完全是三元,且完全是PTQ(无QAT)

Reddit r/LocalLLaMA · 2026-07-16

作者声称,三元分解的性能与Q4_K_M量化一样好,同时使用稍多的VRAM,并且完全是三元和PTQ,无需QAT。

0 人收藏 0 人点赞
#ternary-decomposition

ExTernD: 扩展秩三值分解——精度逼近任意量化水平的LLM训练后量化

arXiv cs.LG · 2026-07-16 缓存

ExTernD引入了一种扩展秩三值分解用于LLM训练后量化,通过使用具有自由内秩的因子化表示,使精度接近bf16。在Gemma-4和Qwen3.5等模型上,它以每个权重5.2-5.5有效比特达到Q4_K的精度。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈