4-bit

UnslothAI 宣布，其 4-bit Qwen3.6 MTP GGUF 模型仅凭单个提示即可搜索超过70个网站，通过 Unsloth Studio 可在20GB内存上本地运行。此次更新增加了自动 MTP 和推测解码支持。

Cyankiwi 推出了其 AWQ 4-bit 量化方法的更新版本，该方法联合优化缩放因子和量化范围，在 Llama-3 模型上实现了比现有方法更低的 KL 散度。