标签
Escha Labs发布了一个2位量化的Qwen3.8-27B AI模型版本，使其能够在单个24GB消费级GPU上运行，支持高达64k的上下文长度，同时保持与FP8参考版本相当的性能。
本文追踪各种低比特AI模型的更新，包括Bonsai、BitCPM等，涵盖性能改进及对llama.cpp等后端的兼容性更新。
DeepSeek V4 Flash 的 2位、3位和4位精度 GGUF 量化版本，已在 Hugging Face 上发布，可用于 llama.cpp 和 Ollama 等工具的本地推理。
本文介绍Qwopus3.6-27B-Coder模型的校准2位GGUF量化版本，用于智能体编码任务。实验表明，IQ2_M量化（9.74 GiB）在SWE-rebench基准测试中达到63%的通过率，与Q5_K_M量化相当，但模型大小仅为其一半。
UniSVQ提出了一种统一的2位量化框架，通过将码字参数化为整数格点的仿射变换，桥接了标量量化与向量量化，在标量方法中达到了最先进水平，并与向量方法性能相当且具有更高的吞吐量。