我们构建了一个Qwen3.5 0.8B的校准感知Q4_K_M量化版，与纯llama.cpp Q4_K_M相比，恢复了96.5%的BF16性能差距（SpectralQuant）

Reddit r/LocalLLaMA 2026/06/27 11:29 工具

quantization calibration qwen model-compression efficiency spectralquant llama-cpp

摘要

Qwen3.5 0.8B使用SpectralQuant的校准感知Q4_K_M量化版，与标准llama.cpp Q4_K_M量化版相比，恢复了96.5%的BF16性能差距。

暂无内容

查看原文

相似文章

Reddit r/LocalLLaMA

本文对比了在RTX 3090 24GB上运行Qwen 3.6 27B使用的llama.cpp后端，发现搭配IQ4_KS量化的ik_llama.cpp性能最佳（预填充1261 tok/s，解码72.9 tok/s）。

Reddit r/LocalLLaMA

本文使用 KLD 和 Same Top P 指标，对多种 Qwen3.6-27B 量化版本（Q8 至 Q2）进行基准测试，对比了 Unsloth 和 mradermacher 等提供者的量化结果，并给出了质量与大小权衡的建议。

Reddit r/LocalLLaMA

一项社区基准测试评估了 21 种能在 16GB 显存内运行的 Qwen3.8 27B 模型/KV 量化组合（189 项基准测试），发现 q5_1/q5_1 通常是最优选择，而提高模型量化级别（q4_0/q4_0）优于在完整 f16 KV 缓存下使用更低的量化级别。

Reddit r/LocalLLaMA

团队将 Qwen 3.8 27B 量化为多种 GGUF 格式，并在 RTX 6000 上进行了基准测试，发现不同量化版本性能相似，推荐 AD-Q6_K 以保证安全性。

Reddit r/LocalLLaMA

这是一个使用 IQ4_XS 量化的 Qwen3.8-27B AI模型的量化版本，针对16GB RAM系统进行了优化，并提供使用各种工具如 llama.cpp 和 Ollama 的本地部署指南。