awq

一条推文介绍了五种关键的LLM量化技术（RTN, GPTQ, AWQ, LLM.int8(), QAT），用于在有限硬件上适配大型模型，并引用了一篇综合性研究论文。

一位用户质疑为什么AutoRound——这款在低位宽下精度保留出色且能直接导出GGUF的量化工具，尽管在复杂模型（如Qwen3.6 27B）上表现优于标准AWQ和RTN，却仍然被忽视。

一位用户分享了他们在4090 GPU上通过vLLM运行DiffusionGemma 26B的经验，速度高达475t/s，但指出了单用户限制、准确度较低和上下文短等缺点，并认为它不值得替代常规的26B模型。

Cyankiwi 推出了其 AWQ 4-bit 量化方法的更新版本，该方法联合优化缩放因子和量化范围，在 Llama-3 模型上实现了比现有方法更低的 KL 散度。