@bnjmn_marie：对于LFM2.5 8B A1B，MoQ GGUFs是最好的，它们拥有最佳的精度/大小比。再次，看到……
摘要
帖子作者指出，LFM2.5 8B A1B模型的MoQ GGUFs提供了最佳的精度/大小比，并建议不要使用精度恢复低于95%的版本。
查看缓存全文
缓存时间: 2026/06/10 09:47
对于LFM2.5 8B A1B，MoQ GGUFs 是最佳选择
它们在准确率与模型大小之间取得了最佳平衡
同样，观察低比特版本在性能上的差异很有意思，但我不会使用任何无法恢复至少95%准确率的版本。https://t.co/GfXB2re4xQ
相似文章
@WaleedAhmad1a10: 查看 Qwen 3.5 27B MoQ 的 GGUF 文件：
Hugging Face 仓库 (kaitchup/Qwen3.6-27B-GGUF-MoQ) 提供了 Qwen3.6-27B MoQ 模型的 GGUF 量化权重，支持使用 llama.cpp 和 Ollama 等工具进行本地推理。
@aisearchio: GLM 5.2 GGUF 已经来了！8位版本大小约为完整模型的一半。更小版本即将推出 https://huggingfa…
GLM 5.2 GGUF 量化模型已发布，8位版本大小约为完整模型的一半；更小版本即将推出。
校准用于智能体编码任务的2位GGUF量化（<10Gb）
本文介绍Qwopus3.6-27B-Coder模型的校准2位GGUF量化版本，用于智能体编码任务。实验表明，IQ2_M量化（9.74 GiB）在SWE-rebench基准测试中达到63%的通过率，与Q5_K_M量化相当，但模型大小仅为其一半。
@TeksEdge: Unsloth 发布了目前我测试过的最快的 Qwen3.6-27B MTP GGUF。是时候升级了。与之前的 GGUF 相比，Q4/Q6 XL 版本的推理速度快了约 55%…
Unsloth 发布了优化后的 Qwen3.6-27B MTP 模型 GGUF 版本，与前序量化版本相比，推理速度显著提升（在 RTX 5090 上最高可达 114 tok/s）。
Gemma 4 26B-A4B GGUF 基准测试
嘿，r/LocalLLaMA 社区，我们为不同提供方的 Gemma 4 26B-A4B GGUF 进行了 KL 散度（KL Divergence）基准测试，以帮助大家挑选最佳的量化版本。* 平均 KL 散度结果使几乎所有 **Unsloth GGUF 都位于帕累托前沿** * KLD 用于衡量量化模型与原始 BF16 输出分布的匹配程度，从而反映模型保留的精度。* 这使得 Unsloth 在 21/22 种尺寸中**表现最佳。**99.9% KLD 及其他指标也呈现相似趋势。* 我们还更新了我们的 Q6_K 量化版本以提高动态性。此前，它们...