awq

一位实践者基于两周的大量智能体日志，对比了采用 INT8 与 INT4 AWQ 量化运行的 Qwen3 27B，发现 INT4 会显著提高推理循环发生率（从每千次调用 1.9 次增至 4.7 次），使任务成功率从 92% 降至 78%，而且在超过 10 万 token 的长上下文中，差距会进一步扩大。INT8 甚至 BF16 也会出现循环，因此量化只是加剧了这一问题，而非其根源。

作者发布了自制的 Qwen 3.8 27B Swift 1.5 量化模型（8-bit AWQ + GPTQ 混合量化），在 4 张 RTX 3090 / 48GB 显存上实现了速度与质量的良好平衡，在 2 张 RTX 3090 上配合 vLLM 与 MTP 可达到近 100 tok/s 的解码速度。

一条推文介绍了五种关键的LLM量化技术（RTN, GPTQ, AWQ, LLM.int8(), QAT），用于在有限硬件上适配大型模型，并引用了一篇综合性研究论文。

一位用户质疑为什么AutoRound——这款在低位宽下精度保留出色且能直接导出GGUF的量化工具，尽管在复杂模型（如Qwen3.6 27B）上表现优于标准AWQ和RTN，却仍然被忽视。

一位用户分享了他们在4090 GPU上通过vLLM运行DiffusionGemma 26B的经验，速度高达475t/s，但指出了单用户限制、准确度较低和上下文短等缺点，并认为它不值得替代常规的26B模型。

Cyankiwi 推出了其 AWQ 4-bit 量化方法的更新版本，该方法联合优化缩放因子和量化范围，在 Llama-3 模型上实现了比现有方法更低的 KL 散度。