Prism-ML Bonsai 2 加入我们的 Qwen3.8 量化比较

嘿 r/LocalLLaMA，Prism-LM 最近发布了其基于 Qwen3.8 的 Bonsai 2 QAT 模型，并迅速获得了关注。在我们的评估中，这些模型在吞吐量和质量之间取得了良好的平衡，在我们的综合基准测试中达到约 91.5%。我们想看看在相同的方法论下，这些模型与其他 Qwen3.8 评估的对比情况，因此我们通过自己的基准测试套件运行了 Bonsai 2。一个重要澄清：这些是我们评估的结果，不是 Prism 报告的基准测试数字。我们使用了 Prism 的 fork/runtime 来运行他们的模型，同时保持工作负载、基准测试套件和评估方法论与我们其他比较一致。我们的评估包括单独的 Instruct 和 Thinking 基准测试。对于 Thinking，我们使用中等思考力度并采用推荐的采样参数。我们添加 Bonsai 2 是因为这些模型已成为 Qwen3.8 领域的重要部分，我们希望为比较可用选项的人提供一个共同的参考点。不同的提供商通常使用不同的基准测试套件、运行时、推理设置、采样参数和评估方法论来报告结果，因此这些数字并不总是可以直接比较。通过相同的评估运行这些模型，为理解质量、模型大小和吞吐量之间的权衡提供了另一个参考点。更新后的比较和结果：https://byteshape.com/blogs/Qwen3.8-27B/