有点喜欢看 ISTA(GSQ-RCO)和 Unsloth 之间的互撕。

Reddit r/LocalLLaMA 新闻

摘要

一篇社区帖子讨论了 ISTA 的 GSQ-RCO 量化方法与 Unsloth 之间的竞争,指出两支团队的竞争让用户受益,获得更好的量化模型,同时质疑 ISTA 为何不公布其量化模型的 KLD 指标。

我不站任何一边,我只是喜欢这种竞争。两支团队相互推动,意味着我们所有人都能用上更好的量化模型。我不明白的是,为什么 ISTA 不公布他们量化模型的 KLD。这个指标不取决于模型思考的时长,因此能让比较容易得多。我只在 Unsloth 的图表里见过 GSQ-RCO 的 KLD。也许有什么原因是我没想到的。(英语不是我的母语,我用大语言模型帮忙翻译了这篇帖子。)
查看原文

相似文章

ISTA DeepSeek-V4.1-Flash-1017 GSQ-RCO 量化版本对比

Reddit r/LocalLLaMA

ISTA 对 Unsloth 公布的 DeepSeek-V4.1-Flash-1017 量化对比结果提出异议,认为性能差距源于 32K 与 128K 的推理 token 预算差异,而非任何隐性的超参数调优,并邀请各方独立复现其基准测试。

Unsloth 的 LiveCodeBench 结果存在不一致之处

Reddit r/LocalLLaMA

一项分析指出,在更新后的图表中,DeepSeek-V4.1-Flash-1017 的全部四种 Unsloth 量化版本以及 Q8 基线在 LiveCodeBench v6 上的得分同时提高了 2–3 分。在独立采样模型下,这种变化在统计上发生的可能性很低,而 GSQ-RCO 的结果则表现不一致。