有点喜欢看 ISTA(GSQ-RCO)和 Unsloth 之间的互撕。
摘要
一篇社区帖子讨论了 ISTA 的 GSQ-RCO 量化方法与 Unsloth 之间的竞争,指出两支团队的竞争让用户受益,获得更好的量化模型,同时质疑 ISTA 为何不公布其量化模型的 KLD 指标。
我不站任何一边,我只是喜欢这种竞争。两支团队相互推动,意味着我们所有人都能用上更好的量化模型。我不明白的是,为什么 ISTA 不公布他们量化模型的 KLD。这个指标不取决于模型思考的时长,因此能让比较容易得多。我只在 Unsloth 的图表里见过 GSQ-RCO 的 KLD。也许有什么原因是我没想到的。(英语不是我的母语,我用大语言模型帮忙翻译了这篇帖子。)
相似文章
ISTA DeepSeek-V4.1-Flash-1017 GSQ-RCO 量化版本对比
ISTA 对 Unsloth 公布的 DeepSeek-V4.1-Flash-1017 量化对比结果提出异议,认为性能差距源于 32K 与 128K 的推理 token 预算差异,而非任何隐性的超参数调优,并邀请各方独立复现其基准测试。
Unsloth 对比 GSQ-RCO - 512K 上下文 DeepSeek-V4.1 GGUF 基准测试 Terminal Bench
Unsloth 公布了其 DeepSeek Dynamic V3.1 GGUF 量化版本的基准测试结果,声称在 512K 上下文长度下,其在 Terminal Bench 和 DeepSWE 等智能体基准测试中的表现比 GSQ-RCO 提升了逾 10–20%,并从统计学角度质疑了 GSQ-RCO 关于量化后性能恢复的说法。
Unsloth 的 LiveCodeBench 结果存在不一致之处
一项分析指出,在更新后的图表中,DeepSeek-V4.1-Flash-1017 的全部四种 Unsloth 量化版本以及 Q8 基线在 LiveCodeBench v6 上的得分同时提高了 2–3 分。在独立采样模型下,这种变化在统计上发生的可能性很低,而 GSQ-RCO 的结果则表现不一致。
可能是 Qwen3.8 27B 最高质量的主线量化版本?
发布了 Qwen 3.8 27B AI 模型的高质量量化版本,声称在质量测试中超越了 ISTA 和 Unsloth 量化版本。
你最喜欢的量化模型发布者是谁?为什么?
一位用户分享了对Unsloth量化模型的偏好,原因包括发布速度快、困惑度低,并将其与Apex MoE量化模型进行比较,同时向社区询问他们最喜欢的量化发布者。