@PrismML: 今天，我们宣布推出 Bonsai 27B：首款能在手机上运行的 27B 参数模型。Bonsai 27B 是全新的多模态旗舰…

X AI KOLs Timeline 模型
open-source multimodal on-device quantization phone-friendly small-model apache-2.0

摘要

PrismML 宣布推出 Bonsai 27B，这是首款能在手机上运行的 270 亿参数模型，提供三进制和 1 位变体（分别为 5.9 GB 和 3.9 GB），能够在本地设备上实现多步推理和智能体工作流，全部以 Apache 2.0 许可证开源。

今天，我们宣布推出 Bonsai 27B：首款能在手机上运行的 27B 参数模型。 Bonsai 27B 是 Bonsai 家族的全新多模态旗舰。基于 Qwen3.6 27B，它为本地 AI 带来了全新的能力层级：多步推理、结构化工具使用、长上下文工作流以及连贯的智能体循环。 在此之前，这类模型在本地部署是不切实际的。一个 27B 模型在 16 位精度下大约占用 54 GB，即使是较强的 4 位量化版本也有约 18 GB——对于手机和大多数笔记本电脑来说都太大了。 Bonsai 27B 改变了这一点。 它提供两个变体： • Ternary Bonsai 27B：5.9 GB，每个权重有效位数为 1.71，针对笔记本级别质量优化。 • 1-bit Bonsai 27B：3.9 GB，每个权重有效位数为 1.125，针对手机级别占用优化。 今天，所有内容均在 Apache 2.0 许可证下开源。
查看原文
查看缓存全文

缓存时间: 2026/07/14 18:29

今天，我们宣布推出 Bonsai 27B：这是首个能在手机上运行的 27B 级模型。

Bonsai 27B 是 Bonsai 系列新的多模态旗舰模型。基于 Qwen3.6 27B，它为本地 AI 带来了全新的能力层级：多步推理、结构化工具使用、长上下文工作流以及连贯的自主循环。

在此之前，这类模型在本地部署并不可行。一个 27B 模型在 16 位精度下大约占用 54 GB，即使是高质量的 4 位量化版本也接近 18 GB——对手机和大多数笔记本电脑来说都太大了。 Bonsai 27B 改变了这一局面。

它提供两个版本： • Ternary Bonsai 27B：5.9 GB，每权重有效位数 1.71，针对笔记本级质量优化。 • 1-bit Bonsai 27B：3.9 GB，每权重有效位数 1.125，针对手机级占用空间优化。

今天，所有内容均以 Apache 2.0 许可证开源发布。

相似文章

prism-ml/Bonsai-27B-mlx-1bit

Hugging Face Models Trending

Bonsai-27B 是一个1位二元变换器模型，在手机（iPhone 17 Pro Max）上实现完整的27B级推理，占用约3.9 GB内存，速度约11 tok/s，保留了约90%的FP16智能表现。

prism-ml/Bonsai-27B-gguf

Hugging Face Models Trending

Prism ML 发布了 Bonsai-27B-gguf，这是一个拥有 270 亿参数的语言模型，采用二进制（1.125 位）权重，实现了约 14 倍的尺寸缩减，同时保留了约 90% 的 FP16 推理性能。它可以在消费级硬件上运行，并具有高吞吐量。

PrismML-Eng/Bonsai-demo

GitHub Trending (daily)

PrismML发布了Bonsai 27B，一个支持代理工具调用和长上下文的视觉语言模型，以及1-bit和ternary变体。该演示仓库允许在多种硬件上本地运行这些模型。