我尝试了三元分解而不是量化。它的效果与q4km一样好，但占用稍多的VRAM。同时完全是三元，且完全是PTQ（无QAT）

Reddit r/LocalLLaMA 2026/07/16 13:07 论文

ternary-decomposition quantization model-compression ptq ai-research

摘要

作者声称，三元分解的性能与Q4_K_M量化一样好，同时使用稍多的VRAM，并且完全是三元和PTQ，无需QAT。

暂无内容

查看原文

相似文章

arXiv cs.LG

ExTernD引入了一种扩展秩三值分解用于LLM训练后量化，通过使用具有自由内秩的因子化表示，使精度接近bf16。在Gemma-4和Qwen3.5等模型上，它以每个权重5.2-5.5有效比特达到Q4_K的精度。

Reddit r/LocalLLaMA

一项详细的基准测试，使用PPL和KLD指标在Qwen 3.6 27B上比较KV缓存量化方法（TurboQuant、TCQ、q4、q5、q8），发现TCQ改进了低位量化，不对称KV在相同大小下优于对称KV，且q8通常过于夸张。包含分析和数据，见链接文章。

Reddit r/LocalLLaMA

用户在 RTX 3090 上测试了三元量化版本的 Qwen3.6 27B，使用两个槽位和 100k KV 缓存，占用 21GB 显存，达到了 60 tk/s 的速度，质量良好且工具调用稳定。

arXiv cs.CL

CAT-Q 提出了一种面向LLM的训练后三值量化方法，该方法使用可学习调制和软化三值化技术，仅需512个校准样本即可实现优于BitNet 1.58-bit的性能，并可扩展到235B参数规模。

X AI KOLs Timeline

用户报告称 Qwen3.6 27B NVFP4 量化版本在编码方面不可靠，尽管吞吐量高但质量不稳定，并建议 Q4_K_M 可能更稳定。