我希望ternary最终能行，但……唉
摘要
用户对来自Prisml的ternary Bonsai模型表示失望，质疑其质量尽管有炒作，并怀疑这是否只是典型的模型过度炒作。
“如果你在走路，那就随身带上车钥匙。”只是想试试ternary Bonsai模型，它已经炒作了一段时间，我对Prisml的整体表现印象深刻，但27B参数似乎非常非常糟糕，是我错过了什么，还是这只是常见的模型炒作，似乎没人用？
相似文章
现在可以微调 Prism-ML 的三元 Bonsai 模型
Prism-ML 宣布他们的三元 Bonsai 模型现在可以进行微调，提供了示例代码，并建议使用较高的学习率。
prism-ml/Ternary-Bonsai-27B-mlx-2bit
Prism ML 发布了 Ternary-Bonsai-27B-mlx-2bit，这是一个三元量化的 27B 参数语言模型，在约 7.2 GB 内存下实现了 FP16 性能的约 95%，使笔记本电脑能够进行完整推理。
Bonsai-27B 和 Ternary-Bonsai-27B 的更新（PR 相关）
更新了 Bonsai-27B 和 Ternary-Bonsai-27B 模型，详细介绍了在 llama.cpp 中 CPU、Metal、CUDA、Vulkan 后端的上游合并状态，并讨论了模型的局限性和路线图。
PrismML 刚刚发布了二值和三值的 Bonsai Image 4B：一种 1比特/三值文本到图像扩散变换器，甚至可以在浏览器中通过 WebGPU 100% 本地运行。
PrismML 发布了 Bonsai Image 4B 模型的二值和三值量化版本，使得文本到图像生成可以仅用 3GB 大小通过 WebGPU 在浏览器中本地运行，采用 Apache-2.0 许可证。
Prism-ML Bonsai Qwen 3.6 27B
Prism ML 发布了 Ternary-Bonsai-27B，这是 Qwen3.6-27B 的三元量化版本，在约 7.2 GB 的占用下保留了 FP16 智能的 95%，能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理，在 Apple M5 Pro 上速度可达 26 tok/s。