在Jetson Orin NX 16GB上本地运行了一个27B模型（1-bit），仍然有点惊讶它能工作
摘要
用户报告在Jetson Orin NX 16GB边缘设备上成功运行了量化到1-bit的27B参数模型，对可行性表示惊讶。
暂无内容
相似文章
在本地定期使用Bonsai 27b 1b量化版
一位用户分享了在16GB MacBook Air上本地使用Bonsai 27b的1-bit量化版进行日常聊天、辅导Go语言以及分析个人笔记的积极体验，称赞其智能性和小巧的体积。
PrismML Bonsai 27B 在 Jetson Orin Nano 8GB 上出人意料地可用
PrismML 的 Bonsai 27B 模型在 Jetson Orin Nano 8GB 上运行，处理速度为 4.31 tokens/s，提示处理速度为 27 t/s，使用 6.2GB 内存和约 25W 功耗。这表明边缘 AI 性能出人意料地可用。
Bonsai 27B（1位LLM）：首个能在手机上运行的27B级别模型
PrismML宣布推出Bonsai 27B，这是Qwen3.6 27B的1位与三元量化版本，可在手机和笔记本电脑上运行，保留基线性能的90-95%，占用3.9GB空间，支持自主智能体与多模态的端侧AI。
@sudoingX: 这个实验室将 Qwen 3.6 27B（这个我整个月都称之为 24GB 层级霸主的模型）压缩到了 3.9GB。……
PrismML 宣布推出 Bonsai 27B，这是 Qwen3.6 27B 的二值量化版本，可在手机上运行，每个权重仅使用 1.125 比特，声称保留了 89.5% 的智能。该模型正由 @sudoingX 独立测试以验证性能。
我在8GB显存下在Terminal-Bench 2.0上运行了Ternary-Bonsai-27B（2-bit）和Bonsai-27B（1-bit）
一位用户在Terminal-Bench 2.0上测试了27B参数Bonsai模型的量化1-bit和2-bit版本，在8GB显存内获得了结果。