@PrismML: 今天，我们宣布推出 Bonsai 27B：首款能在手机上运行的 27B 参数模型。Bonsai 27B 是全新的多模态旗舰…
摘要
PrismML 宣布推出 Bonsai 27B，这是首款能在手机上运行的 270 亿参数模型，提供三进制和 1 位变体（分别为 5.9 GB 和 3.9 GB），能够在本地设备上实现多步推理和智能体工作流，全部以 Apache 2.0 许可证开源。
查看缓存全文
缓存时间: 2026/07/14 18:29
今天，我们宣布推出 Bonsai 27B：这是首个能在手机上运行的 27B 级模型。
Bonsai 27B 是 Bonsai 系列新的多模态旗舰模型。基于 Qwen3.6 27B，它为本地 AI 带来了全新的能力层级：多步推理、结构化工具使用、长上下文工作流以及连贯的自主循环。
在此之前，这类模型在本地部署并不可行。一个 27B 模型在 16 位精度下大约占用 54 GB，即使是高质量的 4 位量化版本也接近 18 GB——对手机和大多数笔记本电脑来说都太大了。 Bonsai 27B 改变了这一局面。
它提供两个版本： • Ternary Bonsai 27B：5.9 GB，每权重有效位数 1.71，针对笔记本级质量优化。 • 1-bit Bonsai 27B：3.9 GB，每权重有效位数 1.125，针对手机级占用空间优化。
今天，所有内容均以 Apache 2.0 许可证开源发布。
相似文章
Bonsai 27B（1位LLM）：首个能在手机上运行的27B级别模型
PrismML宣布推出Bonsai 27B，这是Qwen3.6 27B的1位与三元量化版本，可在手机和笔记本电脑上运行，保留基线性能的90-95%，占用3.9GB空间，支持自主智能体与多模态的端侧AI。
@populartourist: 我可以在我的经济型笔记本上运行27B而不是9B。这简直令人难以置信。
PrismML宣布推出Bonsai 27B，这是一个基于Qwen3.6 27B的多模态模型，可以在手机上运行，支持本地多步推理、工具使用和长上下文工作流。
prism-ml/Bonsai-27B-gguf
Prism ML 发布了 Bonsai-27B-gguf，这是一个拥有 270 亿参数的语言模型，采用二进制（1.125 位）权重，实现了约 14 倍的尺寸缩减，同时保留了约 90% 的 FP16 推理性能。它可以在消费级硬件上运行，并具有高吞吐量。
Prism-ML Bonsai Qwen 3.6 27B
Prism ML 发布了 Ternary-Bonsai-27B，这是 Qwen3.6-27B 的三元量化版本，在约 7.2 GB 的占用下保留了 FP16 智能的 95%，能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理，在 Apple M5 Pro 上速度可达 26 tok/s。
@AgentSparko: 我在DGX Spark上测试了PrismML Bonsai 27B，但我觉得在构建llama.cpp时好像搞错了什么，因为速度…
用户测试了PrismML的新Bonsai 27B模型在Nvidia DGX Spark上的表现，报告了基准测试速度以及llama.cpp构建的问题，同时PrismML宣布该模型是首款能在手机上运行的27B级模型。