@antirez：上传新的 2-bit HF imatrix GGUF：名称相同但内容不同，已修复共享专家的 down layer（原存在…

X AI KOLs Following 模型
quantization gguf hugging-face llm-inference bug-fix low-bit

摘要

修复 imatrix 计算 bug 后，已将修正后的 2-bit GGUF 模型文件上传至 Hugging Face，从而提升了 logits 召回率并降低了误差。

上传新的 2-bit HF imatrix GGUF：名称相同但内容不同，已修复共享专家的 down layer（原 imatrix 计算中存在 bug）。logits 召回率有所提升，误差减小，...
查看原文

相似文章

Unsloth MiniMax M3 GGUF

Reddit r/LocalLLaMA

Unsloth 正在将 MiniMax M3 模型的 GGUF 量化版本上传到 Hugging Face。

huihui-ai/Huihui-GLM-5.2-abliterated-GGUF

Hugging Face Models Trending

Hugging Face 上发布了已消除限制的 GLM-5.2 模型的量化 GGUF 版本，可使用 Transformers、llama.cpp 和 vLLM 等工具进行本地推理。

校准用于智能体编码任务的2位GGUF量化（<10Gb）

Reddit r/LocalLLaMA

本文介绍Qwopus3.6-27B-Coder模型的校准2位GGUF量化版本，用于智能体编码任务。实验表明，IQ2_M量化（9.74 GiB）在SWE-rebench基准测试中达到63%的通过率，与Q5_K_M量化相当，但模型大小仅为其一半。