发布 DeepSeek-V4.1-Flash-1017 Dynamic V3.1 Unsloth GGUF 量化模型

大家好！我们正在发布全新的 DeepSeek-V4.1-1017 Dynamic V3.1 (preview) GGUF 量化模型，展示了 Unsloth 的 GGUFs 在 7 项不同基准测试中同等大小下保持最佳精度的能力。我们对 ISTA 的 GSQ-RCO GGUFs 进行了基准测试，但即使使用对方报告中的最高分数，也无法复现其结果。差异最大的是 AIME25，对方声称 100% 恢复到基线精度，但我们的基准测试仅为约 91.88%。在 AIME25、LiveCodeBench、GPQA Diamond、Aider Polyglot 等多项基准中，Unsloth Dynamic V3.1 在几乎所有指标上都优于 GSQ-RCO GGUFs。甚至我们旧版的 v3 在几乎所有指标上也优于 ISTA。每项基准测试我们至少运行了 3 次（AIME25 运行了 16 次），并对结果取平均值，以确保公平、可靠的比较。更多结果将于下周发布！所有基准数据、方法论和结果都在我们的博客中。 另外，关于 KLD（KL 散度），有人询问它是否是衡量精度的可靠指标。量化的主要目标是最小化 KLD，同时也要最小化磁盘占用。如果你得到的 KLD 为 0，这意味着量化模型与 16bit 模型完全等价，因为 logits 得到了完美的建模。我们的基准测试显示，在多个领域（编码、智能体编码、对话等）的 KLD 和 top-1% 指标上，UDv3.1 在每个领域都远优于 GSQ-RCO。我们发现更低比特量化的模型思考时间确实比未量化模型稍长一些——我们计划进一步研究并让量化效果变得更好。但即便在推理长度方面，我们也远优于 GSQ-RCO，博客中提供了截断回答的图表。 该模型可在 128GB RAM/统一内存设备上运行，甚至在 64GB RAM 的设备上也可以通过 engram offloading 运行。 包含所有详细信息和更多基准测试的博客：https://unsloth.ai/docs/models/deepseek-v4.1-flash GGUF 模型下载：https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF 我们还为 Unsloth Desktop 引入了许多新功能，包括浏览器使用（Browser Use）、自动压缩、全新的 TTS 管线（支持声音克隆、分离等）、沙盒化以及背景自定义等：https://github.com/unslothai/unsloth 祝大家万圣节快乐！下面附上数据表格，博客中还有更多图表和数据的详细描述： | 量化 | 大小 (GB) | AIME25 | HMMT Feb26 | GPQA-D | MMLU-Pro | IFEval | LCB v6 (32K) | 6 项平均 | Aider pass@1 | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | UD-Q8_K_XL | 508.4 | 97.08 | 68.94 | 90.47 | 88.61 | 95.10 | 85.90 | 87.68 | - | | UD-Q2_K_XL | 334.8 | 97.50 | 69.89 | 89.58 | 88.28 | 94.92 | 84.76 | 87.49 | - | | UD-IQ2_XXS | 300.5 | 96.88 | 67.61 | 88.95 | 87.53 | 95.19 | 83.62 | 86.63 | 44.38 | | UD-IQ1_M | 250.4 | 95.00 | 62.88 | 88.38 | 87.53 | 95.10 | 84.38 | 85.55 | 42.13 | | UD-IQ1_S | 233.0 | 92.92 | 57.01 | 87.63 | 86.62 | 94.92 | 82.10 | 83.53 | 36.52 | | GSQ-RCO IQ2_XS | 265.8 | 95.00 | 64.39 | 88.64 | 86.62 | 94.27 | 84.95 | 85.64 | 41.57 | | GSQ-RCO IQ2_XXS | 248.8 | 95.21 | 57.95 | 85.80 | 86.53 | 93.72 | 82.86 | 83.68 | 36.52 | | GSQ-RCO IQ1_M | 231.3 | 91.88 | 53.60 | 85.10 | 85.49 | 91.77 | 82.86 | 81.78 | 29.78 |