AtomicChat的欺骗性模型量化？

Reddit r/LocalLLaMA 模型
model-quantization ai-models deception analysis gguf qwen open-source

摘要

一项分析表明，AtomicChat的Qwen3.8-Flash-Next量化可能具有欺骗性，因为它将IQ2_S张量误报为Q4_K_M，这揭示了模型量化中潜在的透明度问题。

我一直在看到这个子版块里有人说AtomicChat的Qwen3.8-Flash-Next量化有多好，当unsloth的量化装不进机器时它能装，运行速度比其他量化更快等等，所以我去查看了那里的情况。我注意到的第一件事是，当移除n-gram表后，AtomicChat的Q4_K_M量化小得可疑（只有约56GB），似乎这个量化中的大多数张量是IQ2_S，而不是通常在Q4_K_M量化中常见的Q4_K、Q5_K和Q6_K。GGUF文件类型元数据也显示为IQ2_S而不是Q4_K_M。在他们的模型卡中，他们的Q4_K_M还有可疑的高KLD（0.084）。在我看来，很明显他们是在将IQ2_S量化伪装成Q4_K_M，但与此同时我真的不确定，因为不可能只有我发现这个吧？为什么没有人指出来？我是不是遗漏了什么，或者他们可能在做什么？他们的HF仓库ID：AtomicChat/Qwen3.8-Flash-Next-GGUF
查看原文

相似文章

Qwen3.8 Flash AP Quants

Reddit r/LocalLLaMA

该帖子宣布了Qwen3.8 Flash模型的新量化版本，通过改进的KLD测量和优化的预填充性能，超越了其他高质量量化版本。

@MinLiBuilds: 令人震惊，量化即将改变其游戏规则。Unsloth Dynamic 已经足够智能：对敏感权重进行轻度压缩…

X AI KOLs Timeline

该帖子讨论了量化如何从固定的比特宽度转向自适应方案：Unsloth Dynamic 已经会对敏感权重进行轻度压缩、对不敏感权重进行激进压缩，而 GSQ + RCO 则训练一个网络利用梯度来决定每个权重以何种方式、在多少比特宽度下进行压缩，其在 Qwen3.8-Flash-Next-GSQ-RCO-GGUF 上的 IQ3_S 性能已接近 BF16 全精度水平。