Bonsai 的文档揭示其标题的精选程度

Reddit r/LocalLLaMA 模型
ai model-benchmark ternary-quantization open-source qwen-comparison performance-retention model-release

摘要

文章揭示 Bonsai 的标题经过精选，显示 Ternary Bonsai 2 27B 在 Terminal-Bench 和 SWE-bench 基准测试中，与 Qwen 模型相比，保留了约75%的全精度性能。

Bonsai 声称保留了98.2%的智能性能，但他们自己的文档显示，Ternary Bonsai 2 27B 在 Terminal-Bench 和 SWE-bench 基准测试中分别达到52.8和60.8，相比之下，Qwen3.5-27B 为69.7和80.6，在两个基准测试中保留了约四分之三的全精度性能。这可能是笔误，因为这些是 Qwen3.8 的数字，尽管 Qwen3.5 的数字是 Bonsai_2/Q3.5 52.8 / 41.6 = 126.9% 和 Bonsai_2/Q3.5 60.8 / 72.4 = 84.0%。长上下文和编码性能。这次发布也实现了我们在初始 Bonsai 27B 发布 [2] 中设定的路线图，当时我们确定长期、工具驱动的软件工程是下一个需要改进的主要能力。通过 Ternary Bonsai 2 27B，这一进展现在直接体现在代理性能中。首次在 Terminal-Bench 2.1 和 SWE-bench Verified 上评估，Ternary Bonsai 2 27B 分别达到52.8和60.8，相比之下，Qwen3.5-27B 为69.7和80.6，在两个基准测试中保留了约四分之三的全精度性能。链接到他们的白皮书在 GitHub 上，在第7页。另外，3.8 35b 什么时候？请。
查看原文

相似文章

Prism-ML Bonsai Qwen 3.6 27B

Reddit r/LocalLLaMA

Prism ML 发布了 Ternary-Bonsai-27B，这是 Qwen3.6-27B 的三元量化版本，在约 7.2 GB 的占用下保留了 FP16 智能的 95%，能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理，在 Apple M5 Pro 上速度可达 26 tok/s。