@sudoingX: 这个实验室将 Qwen 3.6 27B（这个我整个月都称之为 24GB 层级霸主的模型）压缩到了 3.9GB。……

X AI KOLs Timeline 模型
binary-quantization model-compression qwen bonsai on-device local-ai

摘要

PrismML 宣布推出 Bonsai 27B，这是 Qwen3.6 27B 的二值量化版本，可在手机上运行，每个权重仅使用 1.125 比特，声称保留了 89.5% 的智能。该模型正由 @sudoingX 独立测试以验证性能。

这个实验室对 Qwen 3.6 27B（我整月都称之为 24GB 层级的霸主）进行了压缩，将其压至 3.9GB。现在屏幕上显示的就是它，正运行在我的单张 3090 上，占用的内存比 Gemma 12B 还少。 以下是他们实际采取的做法，因为这很重要。没有重新训练，也没有新模型。他们直接拿现有权重进行二值量化，每个权重一个符号位，每 128 个权重共享一个缩放因子，整个 27B 参数——包括嵌入层、注意力层等全部内容——都打包进了 1.125 比特。按理说这应该会失效，毕竟低于 4 比特的模型通常都会变成浆糊。 PrismML 声称它保留了完整模型 89.5% 的智能。这很冒险。我手头已经有自己在基准测试中得到的 Qwen 3.6 27B 的真实数据，所以我要让它用事实来证明。同样的智能体任务，同样的测试，1 比特模型与诚实的 Q4 模型对决，我们就能精确找出它的瓶颈所在。 正在运行。结果验证即将发布。
查看原文
查看缓存全文

缓存时间: 2026/07/16 20:23

这个实验室使用了 Qwen 3.6 27B，也就是我这个月一直称之为 “24GB 档位之王” 的模型，把它压缩到了 3.9GB。现在屏幕上显示的就是它，我单张 3090 上加载着它，内存占用比 Gemma 12B 还少。

以下是他们实际所做的，因为这很重要。没有重新训练，没有新模型。他们拿现有的权重做二值量化，每个权重一个符号位，每 128 个权重共享一个缩放因子，整个 27B 参数，包括嵌入、注意力等所有部分，被压缩到 1.125 比特。理论上它应该会崩。低于 4 比特通常是模型变成一摊烂泥的区域。

PrismML 声称它保留了完整模型 89.5% 的智能。很敢说。我手头已经有自己测试的 Qwen 3.6 27B 真实数据，所以我打算让它证明这一点。同样的 Agent 任务，同样的测试，1 比特对真实的 Q4，我们来精确找出它在哪里崩坏。

正在运行。截图稍后奉上。

PrismML (@PrismML): 今天，我们宣布 Bonsai 27B：首款能在手机上运行的 27B 级别模型。

Bonsai 27B 是 Bonsai 家族新的多模态旗舰模型。基于 Qwen3.6 27B，它为本地 AI 带来了新的能力层级：多步推理、结构化工具使用、长上下文工作流，

相似文章

Prism-ML Bonsai Qwen 3.6 27B

Reddit r/LocalLLaMA

Prism ML 发布了 Ternary-Bonsai-27B，这是 Qwen3.6-27B 的三元量化版本，在约 7.2 GB 的占用下保留了 FP16 智能的 95%，能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理，在 Apple M5 Pro 上速度可达 26 tok/s。

prism-ml/Bonsai-27B-mlx-1bit

Hugging Face Models Trending

Bonsai-27B 是一个1位二元变换器模型，在手机（iPhone 17 Pro Max）上实现完整的27B级推理，占用约3.9 GB内存，速度约11 tok/s，保留了约90%的FP16智能表现。