我在8GB显存下在Terminal-Bench 2.0上运行了Ternary-Bonsai-27B（2-bit）和Bonsai-27B（1-bit）
摘要
一位用户在Terminal-Bench 2.0上测试了27B参数Bonsai模型的量化1-bit和2-bit版本，在8GB显存内获得了结果。
暂无内容
相似文章
@sudoingX：每天都有人问我如何在理论上跑不动的硬件上运行bonsai 27b。所以这里全部内容在此……
一份详细指南，介绍如何在仅有8GB显存的硬件上运行27B Bonsai模型，使用1位量化版本和PrismML分支的llama.cpp，包含精确的服务器命令和配置。
在本地定期使用Bonsai 27b 1b量化版
一位用户分享了在16GB MacBook Air上本地使用Bonsai 27b的1-bit量化版进行日常聊天、辅导Go语言以及分析个人笔记的积极体验，称赞其智能性和小巧的体积。
Bonsai 27B（1位LLM）：首个能在手机上运行的27B级别模型
PrismML宣布推出Bonsai 27B，这是Qwen3.6 27B的1位与三元量化版本，可在手机和笔记本电脑上运行，保留基线性能的90-95%，占用3.9GB空间，支持自主智能体与多模态的端侧AI。
Prism-ML Bonsai Qwen 3.6 27B
Prism ML 发布了 Ternary-Bonsai-27B，这是 Qwen3.6-27B 的三元量化版本，在约 7.2 GB 的占用下保留了 FP16 智能的 95%，能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理，在 Apple M5 Pro 上速度可达 26 tok/s。
prism-ml/Bonsai-27B-mlx-1bit
Bonsai-27B 是一个1位二元变换器模型，在手机（iPhone 17 Pro Max）上实现完整的27B级推理，占用约3.9 GB内存，速度约11 tok/s，保留了约90%的FP16智能表现。