@populartourist: 我可以在我的经济型笔记本上运行27B而不是9B。这简直令人难以置信。
摘要
PrismML宣布推出Bonsai 27B,这是一个基于Qwen3.6 27B的多模态模型,可以在手机上运行,支持本地多步推理、工具使用和长上下文工作流。
查看缓存全文
缓存时间: 2026/07/15 03:43
我能在我的预算笔记本上运行27B而不是9B。这太惊人了。
PrismML (@PrismML): 今天,我们宣布推出Bonsai 27B:首个能在手机上运行的27B级模型。
Bonsai 27B是Bonsai家族新的多模态旗舰。基于Qwen3.6 27B,它为本地AI带来了新的能力层级:多步推理、结构化工具使用、长上下文工作流。
相似文章
@PrismML: 今天,我们宣布推出 Bonsai 27B:首款能在手机上运行的 27B 参数模型。Bonsai 27B 是全新的多模态旗舰…
PrismML 宣布推出 Bonsai 27B,这是首款能在手机上运行的 270 亿参数模型,提供三进制和 1 位变体(分别为 5.9 GB 和 3.9 GB),能够在本地设备上实现多步推理和智能体工作流,全部以 Apache 2.0 许可证开源。
Bonsai 27B(1位LLM):首个能在手机上运行的27B级别模型
PrismML宣布推出Bonsai 27B,这是Qwen3.6 27B的1位与三元量化版本,可在手机和笔记本电脑上运行,保留基线性能的90-95%,占用3.9GB空间,支持自主智能体与多模态的端侧AI。
Prism-ML Bonsai Qwen 3.6 27B
Prism ML 发布了 Ternary-Bonsai-27B,这是 Qwen3.6-27B 的三元量化版本,在约 7.2 GB 的占用下保留了 FP16 智能的 95%,能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理,在 Apple M5 Pro 上速度可达 26 tok/s。
prism-ml/Bonsai-27B-gguf
Prism ML 发布了 Bonsai-27B-gguf,这是一个拥有 270 亿参数的语言模型,采用二进制(1.125 位)权重,实现了约 14 倍的尺寸缩减,同时保留了约 90% 的 FP16 推理性能。它可以在消费级硬件上运行,并具有高吞吐量。
PrismML Bonsai 27B 在 Jetson Orin Nano 8GB 上出人意料地可用
PrismML 的 Bonsai 27B 模型在 Jetson Orin Nano 8GB 上运行,处理速度为 4.31 tokens/s,提示处理速度为 27 t/s,使用 6.2GB 内存和约 25W 功耗。这表明边缘 AI 性能出人意料地可用。