ISTA DeepSeek-V4.1-Flash-1017 GSQ-RCO 量化版本对比

我们注意到 Unsloth 最近发布的一些对比结果与我们针对 DeepSeek-V4.1-Flash-1017 的测试结果不符。因此，如果这一点还不够明确，我们在此说明：我们当然没有修改任何超参数来偏袒自己的模型。我们采用了适合这一规模（7630 亿参数）及其 100 万 token 上下文长度能力的模型的标准设置：128K 上下文窗口，推理强度设为 50。据我们所知，性能差异源于基准测试限制的不同，而不是模型本身更差。Unsloth 的对比严格限制推理预算为 32K token，而我们的基准测试允许最多输出 128K token。计算量上的这一显著差异解释了结果的不同，并非我们暗中做了任何调整。此外，对于一个拥有 100 万 token 上下文窗口和 7630 亿参数的模型，施加如此低的推理预算（32K）似乎并不合理。我们的首要目标是开放协作和透明。我们所有的代码都已在 GitHub 上公开，论文也已发布在 arXiv 上。我们由衷地高兴看到其他量化版本表现出色，因为这正是我们最初发布这些模型的重要动机之一。我们欢迎任何拥有相应计算资源的人使用与我们完全相同的设置（128K 输出预算、推理强度 50）复现我们的结果，进行独立验证。我们此前的模型曾由 Benjamin Marie（The Kaitchup）等第三方进行基准测试，他们为社区做出了出色的贡献。我们欢迎对我们的声明进行严格检验。此外，我们目前正在自己的测试环境中对这些模型进行对比，并将很快公布结果。谢谢，敬请期待！