Unsloth 对比 GSQ-RCO - 512K 上下文 DeepSeek-V4.1 GGUF 基准测试 Terminal Bench

我们使用 512K 上下文，在我们的 DeepSeek UD 3.1 版 GGUF 上运行了 DeepSWE、Terminal Bench、Automation Bench、HLE 和 SciCode，结果表明我们比 GSQ-RCO 高出 >10–20%。所有其他基准测试（共 14 项）均使用 128K 上下文。AIME2025 运行了 64 次，DeepSWE/TB 各运行了 3 次。针对大家提出的一些问题，我们在这些新的基准测试中作出了改进：32K 上下文太短——我们为智能体任务使用了 512K 上下文，为通用任务使用了 128K 上下文。基准测试已趋于饱和——我们引入了尚未饱和的新智能体类基准测试，包括 Terminal Bench、DeepSWE 和 Automation Bench。基准测试噪声较大——我们进行了涉及 351 亿 token 的基准测试，而此前为 13 亿，因此数据量增加到了原来的 27 倍。请参阅本节，其中我们进行了 64 次 AIME 2025、3 次 DeepSWE、3 次 TB 测试等。我们的评分器有误——我们使用了 Math Verify，改进了评分器，为 HLE 使用了 gpt-6-luna xhigh，并为 Terminal Bench（Harbor）、DeepSWE 及其余基准测试使用了所有官方评分器。请参阅评分器和基础设施修复说明。对于 DeepSWE v1.1，我们使用了 mini-swe-agent，并将最大步数设为 500（我们观察到的运行中，最多为 334 步，因此没有任何一次超出限制）。Terminal Bench 2.1 也使用了 mini-swe-agent，我们将最大步数设为 150，且未设置最大限制。我们不得不排除 89 项任务中的 7 项，因为它们无法在我们的基础设施上通过——请参阅 https://unsloth.ai/docs/models/deepseek-v4.1-flash#excluded-terminal-bench-tasks-due-to-issues。我们还重新核查了 ISTA 的数据，因为我们进行了更多次运行（数据量为原来的 27 倍）。GSQ-RCO IQ1_M 声称性能保留率为 98.7%，但我们测得的结果为 97.24 [96.23, 98.21]，p 值为 0.0013。GSQ-RCO IQ2_XS 声称保留 100% 性能是可能的，p 值为 0.21。我们测得的结果为 98.38% [97.52, 99.22]。因此，这是可能的。GSQ-RCO IQ2_XXS 声称性能保留率为 99.80%，但我们测得的结果为 98.38 [97.52, 99.22]，p 值为 0.0001。因此，这几乎不可能。相对于官方基础模型的配对差值（我们的运行结果、相同题目、符号翻转置换检验、双侧）：AIME25 GPQA-D LCB v6 GSQ-RCO IQ1_M -1.61 (p=0.02) -2.89 (p=0.004) -3.24 (p=0.00002) GSQ-RCO IQ2_XXS -0.47 (p=0.25) -2.07 (p=0.02) -2.00 (p=0.01) GSQ-RCO IQ2_XS -0.42 (p=0.48) -0.51 (p=0.42) -0.38 (p=0.52)。将声称的性能保留率与我们的测量结果直接进行检验（模型卡中的定义：3 项分数之和 / 基础模型的分数之和，对照官方 FP8/FP4）：p（无损失）= 对性能保留率 = 100% 进行配对符号翻转置换检验；p（性能保留率 >= 声称值）= 对题目进行单侧配对自助法检验。声称的性能保留率 实测性能保留率 [95% 置信区间] p（无损失） p（性能保留率 >= 声称值） GSQ-RCO IQ1_M 98.70 97.24 [96.23, 98.21] 0.00002 0.0013 GSQ-RCO IQ2_XXS 100.00 98.38 [97.52, 99.22] 0.0003 0.0001 GSQ-RCO IQ2_XS 99.80 99.54 [98.88, 100.18] 0.16 0.21。如果我们能从 GSQ-RCO 获得更多关于基准测试运行方式的细节，我们非常乐意开展更多测试。我们已在博客中提供了所有配置和方法：https://unsloth.ai/docs/models/deepseek-v4.1-flash#dynamic-v3.1-update-november-2nd-2026。所有细节、数据和方法均见 https://unsloth.ai/docs/models/deepseek-v4.1-flash#dynamic-v3.1-update-november-2nd-2026。我们为 DeepSeek 推出的新版 Unsloth Dynamic 3.1 GGUF 位于 https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF