你最喜欢的量化模型发布者是谁？为什么？

Reddit r/LocalLLaMA 新闻
quantized-models model-publishers unsloth apex-moe community-discussion

摘要

一位用户分享了对Unsloth量化模型的偏好，原因包括发布速度快、困惑度低，并将其与Apex MoE量化模型进行比较，同时向社区询问他们最喜欢的量化发布者。

大家好，我一直是**Unsloth**的忠实粉丝，原因如下： * 模型发布后他们几乎立刻就放出量化版本。 * 他们通常提供最低的困惑度（PPL）。 * 他们的网站上有大量实用的教程和文档。 最近，我偶然看到这个Reddit帖子，建议尝试**Apex MoE量化**版本的*Mudler*： 👉 [https://www.reddit.com/r/LocalLLaMA/comments/1t3n6jo/apex\_moe\_quants\_update\_25\_new\_models\_since\_the/](https://www.reddit.com/r/LocalLLaMA/comments/1t3n6jo/apex_moe_quants_update_25_new_models_since_the/) 所以我决定自己测试一下。我尝试运行了**Qwen3.5 122B IQuality**，它的大小与Qwen3.5 122B Q4\_K\_XL大致相同。到目前为止，在实际任务中，我没有注意到这两个模型在输出质量上有任何差异，于是我做了一个gsm8k基准测试，Unsloth的成绩略好一些。 所以我现在想问你们，你最喜欢的发布者是谁？为什么？
查看原文

相似文章

Gemma4 26b a4b Apex 量化版本表现相当不错

Reddit r/LocalLLaMA

用户对 Gemma4 26B A4B 模型的 APEX 量化版本在 AMD RX 9060 XT 上进行了基准测试，在 90k 上下文下实现了 38 tps，没有质量下降，发现它优于之前的量化版本。

Qwen3.6-27B 量化基准测试

Reddit r/LocalLLaMA

本文使用 KLD 和 Same Top P 指标，对多种 Qwen3.6-27B 量化版本（Q8 至 Q2）进行基准测试，对比了 Unsloth 和 mradermacher 等提供者的量化结果，并给出了质量与大小权衡的建议。

对QAT模型使用替代量化有意义吗？[D]

Reddit r/MachineLearning

讨论对像Gemma-4这样的量化感知训练(QAT)模型使用替代量化方法是否合理，质疑unsloth的基准测试显示其更接近QAT微调的性能是有益还是适得其反。