标签
一个经过修改的 Bonsai-27b GGUF 版本已发布在 Hugging Face 上，移除了拒绝回答功能。
PrismML的Bonsai-27B模型在Math 500数据集上取得了99.2%的准确率，超越了DeepSeek-R1和Kimi K2。
更新了 Bonsai-27B 和 Ternary-Bonsai-27B 模型，详细介绍了在 llama.cpp 中 CPU、Metal、CUDA、Vulkan 后端的上游合并状态，并讨论了模型的局限性和路线图。
@MaziyarPanahi在Mac Studio上使用llama.cpp本地运行GLM-5.2和Bonsai 27B处理一份三年的病历，发现了一个曾被标记但被忽略的危险药物相互作用。两个模型在Apache-2.0许可下完全在设备上运行，Bonsai在约2秒内回答查询，@PrismML声称一个1-bit构建可以装进iPhone。
用户测试了PrismML的新Bonsai 27B模型在Nvidia DGX Spark上的表现，报告了基准测试速度以及llama.cpp构建的问题，同时PrismML宣布该模型是首款能在手机上运行的27B级模型。
PrismML 的 Bonsai 27B 模型在 Jetson Orin Nano 8GB 上运行，处理速度为 4.31 tokens/s，提示处理速度为 27 t/s，使用 6.2GB 内存和约 25W 功耗。这表明边缘 AI 性能出人意料地可用。
Bonsai 27B 通过 1 位量化实现了 93% 的体积缩减，同时保留了 90% 的智能，借助自定义 WebGPU 内核实现本地浏览器推理。