Unsloth 的 LiveCodeBench 结果存在不一致之处

我对比了两张已发布的 DeepSeek-V4.1-Flash-1017 基准测试图表，发现了一件相当不寻常的事。所有四种 Unsloth 量化模型以及 Q8 基线在 LiveCodeBench v6 上的成绩都同时提高了约 2–3 个百分点。与此同时，GSQ-RCO 结果的变化则远没有这么一致。1. 数据 模型 首张图表 更新后的图表 变化 Unsloth IQ1_S 88.95% 91.0% +2.05 Unsloth IQ1_M 88.76% 91.2% +2.44 Unsloth IQ2_XXS 88.19% 91.3% +3.11 Unsloth Q2_K_XL 89.33% 91.7% +2.37 Q8 基线 88.95% 91.7% +2.75 每一个 Unsloth 模型的成绩都提高了，包括 8 位基线。首张图表中的百分比恰好对应 525 次结果（175 道题 × 3 次生成）。例如，467/525 = 88.95%。Unsloth 更新后的评测方法说明，每道题生成 12 次，对应每个模型 2,100 次结果。如果更新后的结果包含最初的三次生成，那么其余九次生成的成功率必然约为：模型 最初 3 次 额外 9 次 提升 IQ1_S 88.95% 91.62–91.75% +2.67–2.79 IQ1_M 88.76% 92.00–92.06% +3.24–3.30 IQ2_XXS 88.19% 92.32–92.38% +4.13–4.19 Q2_K_XL 89.33% 92.44–92.51% +3.11–3.17 Q8 基线 88.95% 92.57–92.63% +3.62–3.68 这些区间考虑了更新后的图表将分数四舍五入至一位小数的情况。2. 统计概率 假设每次生成都是独立的伯努利试验，真实成功概率保持不变，且最初的 525 次结果包含在最终的 2,100 次结果中。使用单侧超几何检验，各模型出现至少像最初结果这样低的成绩的概率约为：模型 概率 IQ1_S 3.38–4.14% IQ1_M 1.44–1.62% IQ2_XXS 0.262–0.304% Q2_K_XL 1.57–1.77% Q8 基线 0.621–0.713% 如果各模型的波动也相互独立，将这些概率相乘可得：P ≈ 1.24 × 10⁻¹⁰ 至 2.59 × 10⁻¹⁰ 在这个简化的独立抽样模型下，这大约相当于 39 亿至 80 亿分之一。当然，各模型之间存在相关性，而且评测使用的是相同任务，因此在没有原始数据的情况下，不应将其解读为实际概率。此外，这些计算假设更新后的平均值包含了最初的结果。尽管如此，这种同步提升仍然十分引人注目。3. GSQ-RCO 的表现有所不同 模型 首张图表 更新后的图表 变化 GSQ-RCO IQ1_M 88.0% 87.6% −0.4 GSQ-RCO IQ2_XXS 88.2% 88.9% +0.7 GSQ-RCO IQ2_XS 88.6% 90.5% +1.9 与 Unsloth 不同，这些结果没有呈现出一致的上升趋势。根据 Unsloth 团队的这条评论，较早的图表仅代表一轮运行，之后又进行了额外评测，且评测设置保持不变。然而，首张图表中的百分比恰好对应 525 次结果，这表明每道题进行了三次生成。随附两张原始基准测试图表以供比较。